[논문 리뷰] VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency

Ruohan Gao, Kristen Grauman|arXiv (Cornell University)|2021. 01. 08.

Speech and Audio Processing참고 문헌 83인용 수 11

한 줄 요약

VisualVoice는 레이블이 없는 영상에서 음성-시각적 말하기 분리와 다중모달 얼굴-음성 임베딩 학습을 동시에 최적화하는 다중작업 학습 프레임워크를 제안한다. 입술 운동 신호 외에도 얼굴 외형(예: 성별, 연령, 국적)을 음성 특성(음고, 음색)에 대한 사전 지식으로 활용함으로써, 입술 움직임이 불완전한 경우에도 강건한 성능을 달성한다. 이는 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하고, 무 supervisory identity 정보를 사용하는 비지도 다중모달 화자 확인을 향상시킨다.

ABSTRACT

We introduce a new approach for audio-visual speech separation. Given a video, the goal is to extract the speech associated with a face in spite of simultaneous background sounds and/or other human speakers. Whereas existing methods focus on learning the alignment between the speaker's lip movements and the sounds they generate, we propose to leverage the speaker's face appearance as an additional prior to isolate the corresponding vocal qualities they are likely to produce. Our approach jointly learns audio-visual speech separation and cross-modal speaker embeddings from unlabeled video. It yields state-of-the-art results on five benchmark datasets for audio-visual speech separation and enhancement, and generalizes well to challenging real-world videos of diverse scenarios. Our video results and code: http://vision.cs.utexas.edu/projects/VisualVoice/.

연구 동기 및 목표

• 소음이 많고 다수의 화자가 존재하는 환경에서 시각적 및 청각적 신호를 활용해 목표 화자의 말하기를 분리하는 데 도전한다.
• 입술 운동에만 의존하는 기존의 음성-시각적 말하기 분리 방법의 한계를 극복한다. 이는 가림이나 비면대칭 시각에서 실패할 수 있다.
• 입술 운동 신호 외에 얼굴 외형(예: 성별, 연령, 국적)을 음성 특성(음고, 음색)에 대한 사전 지식으로 활용하여 분리 성능의 강건성을 향상시킨다.
• 화자 신원 또는 특성 레이블 없이도 자기지도 학습 방식으로 말하기 분리와 다중모달 화자 임베딩을 동시에 학습한다.
• 실생활의 다양한 영상 환경으로의 일반화 능력을 입증하고, 무지도 다중모달 화자 확인 성능을 향상시킨다.

제안 방법

• 완전히 레이블이 없는 영상에서 동시에 음성-시각적 말하기 분리와 다중모달 얼굴-음성 임베딩 학습을 수행하는 다중작업 네트워크를 훈련한다.
• 화자 얼굴과 분리된 음성 간의 일관성을 강제하기 위해 대비 손실(contrastive loss)을 사용하여 음성이 시각적 신원과 일치하도록 보장한다.
• CNN 기반의 얼굴 외형 특징, 3D-CNN 또는 유사한 방식으로 추출한 입술 운동 특징, 그리고 음성 스펙트로그램 특징을 통합된 인코더에 통합한다.
• 시간-주파수 마스크를 예측하기 위해 마스크 헤드를 적용하여 청각-시각 일관성 기반으로 목표 화자의 말하기를 분리한다.
• 말하기 분리 손실(예: SI-SDR)과 다중모달 대비 손실을 조합하여 전체 네트워크를 엔드 투 엔드로 최적화한다.
• 화자 신원 지도 없이도 시각적 및 청각 신호에 의존함으로써, 새로운 화자와 실생활 영상에 대한 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 입술 운동이 신뢰할 수 없을 경우(예: 비면대칭, 가림 등), 얼굴 외형이 음성 특성에 유용한 사전 지식이 될 수 있는가?
• RQ2 말하기 분리와 다중모달 임베딩을 동시에 학습할 경우, 단일 작업 학습 대비 두 작업의 성능 향상 정도는 어떠한가?
• RQ3 화자 신원 레이블 없이도 다중모달 얼굴-음성 임베딩이 얼마나 다양한 화자에 대해 일반화 가능한가?
• RQ4 다중모달 일관성 손실이 입술 가림이나 비면대칭 시각 조건 등 도전적인 실생활 상황에서 성능 강건성을 향상시키는가?
• RQ5 제안된 프레임워크가 기존 방법보다 무지도 다중모달 화자 확인 성능을 향상시킬 수 있는가?

주요 결과

• VisualVoice는 음성-시각적 말하기 분리 및 향상에 대해 다섯 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 청결한 조건과 소음이 있는 조건 모두에서 기존 방법을 능가한다.
• 무슨 말인지 듣지 못한 쌍( unseen-unheard pairs )에 대해 VoxCeleb1 테스트 세트에서 AUC 84.9, EER 23.6을 달성하였으며, 이는 이전 최신 기술인 Learnable-Pins(73.8 AUC, 34.1 EER)를 크게 능가한다.
• 다중모달 얼굴-음성 임베딩 손실은 시각적으로 다를 수 있는 화자 또는 입술 운동이 잘 보이지 않는 경우(예: 비면대칭 시각)에서 가장 큰 성능 향상을 이끌어냈다.
• 학습 중에 특성 또는 화자 신원 지도 없이도 학습된 임베딩의 t-SNE 시각화 결과에서 성별 및 화자 신원 기반으로 명확한 군집이 형성됨을 확인할 수 있었다.
• 말하기 분리와 함께 공동 훈련을 함으로써 다중모달 임베딩의 품질이 향상되었으며, 두 작업 간 상호 이점이 있음을 입증하였다.
• 얼굴 외형 사전 지식의 강건성 덕분에, 가림, 비정상적인 자세, 복잡한 배경을 포함한 다양한 실생활 영상 환경에서도 모델이 잘 일반화됨을 확인하였다.