[논문 리뷰] Jointly Learning Visual and Auditory Speech Representations from Raw Data

Alexandros Haliassos, Pingchuan Ma외 3명|arXiv (Cornell University)|2022. 12. 12.

Speech and Audio Processing인용 수 13

한 줄 요약

RAVEn은 비대칭 마스킹 예측과 동량 인코더를 사용하여 원시 영상과 음성에서 직접 시각적 및 听각적 말표현을 함께 학습하는 자기지도 다중모달 프레임워크이다. 이는 원시 영상과 음성에서 직접 학습함으로써 시각적 말인식(VSR)에서 23.1% WER(LRS3, 전체 데이터)와 听각적 말인식에서 최신 기준 성능을 달성하며, 레이블이 최소한인 경우에도 이전 방법들을 능가한다. 특히 90,000시간의 데이터로 훈련된 준자기지도 방법을 뛰어넘는 성능을 30시간의 레이블 데이터만으로도 달성한다.

ABSTRACT

We present RAVEn, a self-supervised multi-modal approach to jointly learn visual and auditory speech representations. Our pre-training objective involves encoding masked inputs, and then predicting contextualised targets generated by slowly-evolving momentum encoders. Driven by the inherent differences between video and audio, our design is asymmetric w.r.t. the two modalities' pretext tasks: Whereas the auditory stream predicts both the visual and auditory targets, the visual one predicts only the auditory targets. We observe strong results in low- and high-resource labelled data settings when fine-tuning the visual and auditory encoders resulting from a single pre-training stage, in which the encoders are jointly trained. Notably, RAVEn surpasses all self-supervised methods on visual speech recognition (VSR) on LRS3, and combining RAVEn with self-training using only 30 hours of labelled data even outperforms a recent semi-supervised method trained on 90,000 hours of non-public data. At the same time, we achieve state-of-the-art results in the LRS3 low-resource setting for auditory speech recognition (as well as for VSR). Our findings point to the viability of learning powerful speech representations entirely from raw video and audio, i.e., without relying on handcrafted features. Code and models are available at https://github.com/ahaliassos/raven.

연구 동기 및 목표

• 수작업 특징 없이 원시 영상과 음성에서 시각적 및 听각적 말표현을 통합적으로 자기지도 방식으로 학습하는 방법을 개발하는 것.
• 원시 데이터에서의 통합 음성-시각 자기지도 학습을 활용하여 자원이 제한된 말인식 문제를 해결하는 것.
• 시각적 및 听각적 말인식을 위한 다단계 사전 훈련 또는 별도의 전략이 필요 없도록 하는 것.
• 비대칭 교차모달 학습을 통해 시각적 및 听각적 말인식의 최종 성능을 향상시키는 것.
• 사전 언어학적 또는 음향학적 지도 없이도 원시 감각 입력에서 강력한 말표현을 학습할 수 있음을 보여주는 것.

제안 방법

• RAVEn은 음성 및 영상 스트림 모두에 대해 동량 평균 타겟 인코더를 사용하는 학생-선생 대비 학습 프레임워크를 사용한다.
• 음성 스트림은 음성 및 시각 동량 인코더의 타겟을 예측한다(교차모달 및 내모달 학습), 반면 영상 스트림은 오직 음성 타겟만 예측한다(교차모달 학습), 이는 음성에서 더 높은 정보량을 반영한다.
• 마스킹된 입력은 학생 인코더에 입력되며, 이는 마스킹되지 않은 입력의 천천히 업데이트되는 동량 인코더의 출력을 기반으로 문맥화된 표현을 예측한다.
• 경량 Transformer 기반 예측기들을 사용하여 동량 인코더의 출력을 추정함으로써, 종단간 자기지도 사전 훈련이 가능해진다.
• 사전 훈련은 원시 영상과 음성에서 단일 단계로 수행되며, 이후 최소한의 레이블 데이터로 최종 ASR 및 VSR 작업에 미세조정된다.
• 이 프레임워크는 지도 미세조정과 자기학습을 모두 지원하여 자원이 제한된 환경에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 수작업 특징 없이 원시 음성과 영상에서 단일 단계 자기지도 방법으로 강력한 시각적 및 听각적 말표현을 통합적으로 학습할 수 있는가?
• RQ2 음성 스트림이 양방향 모달을 예측하고 영상 스트림이 오직 음성만 예측하는 비대칭 학습 방식이 대칭 또는 단일모달 접근 방식보다 성능을 향상시키는가?
• RQ3 RAVEn은 최소한의 레이블 데이터로도 시각적 및 听각적 말인식에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 원시 데이터에서의 사전 훈련이 영상-음성 변환과 같은 최종 작업에 얼마나 기여하는가?
• RQ5 외부 ASR 모델이나 대규모 가짜 레이블을 사용하는 방법과 비교해 RAVEn은 자원이 제한된 환경에서 어떻게 성능을 내는가?

주요 결과

• RAVEn은 전체 433시간 데이터로 미세조정했을 때 LRS3에서 시각적 말인식에서 23.1% WER를 달성하여 새로운 최신 기준 성능을 수립했다.
• 단지 30시간의 레이블 데이터와 자기학습을 사용했을 때 RAVEn은 23.8% WER를 기록했으며, 비공개 데이터 90,000시간으로 훈련된 최근 준자기지도 방법을 뛰어넘었다.
• 청각적 말인식에서 RAVEn는 작업 특화 사전 훈련이나 수작업 특징 없이도 AV-HuBERT의 성능을 따라하거나 능가한다.
• RAVEn 사전 훈련은 영상-음성 변환 성능을 향상시키며, 초기 훈련 대비 PESQ 0.04, STOI 0.03, ESTOI 0.06 향상되었다.
• 이 방법은 일반화 능력이 뛰어나 기초 모델로 47.0% WER의 저자원 VSR과 4.7% WER의 저자원 ASR 성능을 달성했다.
• 번역 오류는 주로 청각적으로 유사한 대체(예: 'were taken' → 'we’re taking')로 발생하여, 모델이 청각적 및 의미적 구조를 효과적으로 포착하고 있음을 시사한다.