[논문 리뷰] Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction

Bowen Shi, Wei-Ning Hsu외 2명|arXiv (Cornell University)|2022. 01. 05.

Speech and Audio Processing인용 수 113

한 줄 요약

AV-HuBERT는 다중 모달 입력을 마스킹하고 반복적으로 정제된 다중 모달 클러스터 타깃을 예측함으로써 자기지도(audio-visual) 음성 표현을 학습하고, 상당히 적은 라벨 데이터로 최첨단 lip-reading과 ASR을 달성합니다.

ABSTRACT

Video recordings of speech contain correlated audio and visual information, providing a strong signal for speech representation learning from the speaker's lip movements and the produced sound. We introduce Audio-Visual Hidden Unit BERT (AV-HuBERT), a self-supervised representation learning framework for audio-visual speech, which masks multi-stream video input and predicts automatically discovered and iteratively refined multimodal hidden units. AV-HuBERT learns powerful audio-visual speech representation benefiting both lip-reading and automatic speech recognition. On the largest public lip-reading benchmark LRS3 (433 hours), AV-HuBERT achieves 32.5% WER with only 30 hours of labeled data, outperforming the former state-of-the-art approach (33.6%) trained with a thousand times more transcribed video data (31K hours). The lip-reading WER is further reduced to 26.9% when using all 433 hours of labeled data from LRS3 and combined with self-training. Using our audio-visual representation on the same benchmark for audio-only speech recognition leads to a 40% relative WER reduction over the state-of-the-art performance (1.3% vs 2.3%). Our code and models are available at https://github.com/facebookresearch/av_hubert

연구 동기 및 목표

• 영상 데이터에서 상관된 오디오 및 입술 시각 단서로부터 음성 표현 학습의 동기를 부여합니다.
• 오디오와 시각 스트림을 융합하는 자기지도 프레임워크를 개발하여 강건하고 이전 가능한 음성 표현을 학습합니다.
• lip-reading에 대한 대규모 라벨 코퍼라에 대한 의존을 줄이면서 다운스트림 ASR 성능을 향상시킵니다.

제안 방법

• AV-HuBERT를 도입합니다. 오디오 및 비주얼 스트림을 모두 마스킹하고 클러스터 할당을 예측하는 다중모달 인코더
• 모달리티별 인코더와 공통 트랜스포머 백본을 사용하여 모달리티를 융합합니다.
• 특징을 군집화하여 타깃 클러스터를 반복적으로 정제하고(예: MFCC) 학습된 AV 특징을 사용해 재군집합니다.
• 시각 프레임을 위장 세그먼트로 대체하는 마스킹 전략을 적용하여 더 어려운 예측 과제를 만듭니다.
• 오디오 주도 솔루션을 방지하고 단일 모달 미세조정과의 연결고리를 만들기 위해 모달리티 드롭아웃을 도입합니다.
• CTC 또는 S2S 손실로 미세조정하고 lip-reading과 ASR 성능을 평가하며, 의사 라벨을 이용한 자기훈련을 탐색합니다.

실험 결과

연구 질문

• RQ1 제한된 라벨 데이터로 학습했을 때 자기지도, 다중모달 음성 모델이 lip-reading을 향상시킬 수 있나요?
• RQ2 다중모달 타깃(audio-visual)이 lip-reading과 ASR를 위한 unimodal 타깃보다 더 이전 가능한 표현을 생성하나요?
• RQ3 모달리티 드롭아웃과 제안된 마스킹 전략이 강건한 AV 음성 표현 학습에 미치는 영향은?
• RQ4 다국어 사전학습 설정과 단일 언어 사전학습 설정에서 AV-HuBERT의 성능은 어떠하며, ASR 다운스트림 작업에서의 성능은?

주요 결과

• AV-HuBERT는 LRS3에서 단 30시간의 라벨 데이터로 32.5% WER을 달성하여 약 31K 시간의 전사 데이터로 학습된 33.6% WER 모델을 능가합니다.
• LRS3의 모든 433시간을 사전학습 및 미세조정에 사용하면 lip-reading WER가 28.6%로 감소합니다.
• AV-HuBERT를 자기훈련과 결합하면 433시간과 30시간의 라벨 데이터로 lip-reading의 새로운 SOTA인 26.9% WER을 달성합니다.
• ASR의 경우 AV-HuBERT의 타깃으로 오디오-HuBERT를 사전학습하면 LRS3에서 1.3% WER(S2S)을 달성하여 외부 LM 없이도 이전 최첨단을 능가합니다.
• AV-HuBERT 사전학습(다중모달 타깃)은 unimodal 시각 또는 오디오 타깃과 비교하여 lip-reading과 ASR을 개선하며, 오디오-비주얼 특징에 의해 이끄는 타깃이 최상의 결과를 냅니다.
• 사전학습 데이터가 다국어일 때도 이 접근법은 효과적이지만 언어 도메인 정렬이 이익에 영향을 주며, 도메인 일치되는 사전학습 데이터가 유리합니다.