[論文レビュー] VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency

Ruohan Gao, Kristen Grauman|arXiv (Cornell University)|Jan 8, 2021

Speech and Audio Processing参考文献 83被引用数 11

ひとこと要約

VisualVoiceは、ラベルなし動画を用いて音声・視覚的会話分離とクロスモーダル顔・音声埋め込み学習を同時に最適化するマルチタスク学習フレームワークを提案する。唇の動きの手がかりに加え、顔の外見（性別、年齢、国籍など）を音声の特徴（周波数、トーンなど）の事前分布として活用することで、遮蔽や非正面視点下でも性能が向上し、5つのベンチマークデータセットで最先端の性能を達成するとともに、自己教師付きクロスモーダル発話者検証の性能向上を実現した。

ABSTRACT

We introduce a new approach for audio-visual speech separation. Given a video, the goal is to extract the speech associated with a face in spite of simultaneous background sounds and/or other human speakers. Whereas existing methods focus on learning the alignment between the speaker's lip movements and the sounds they generate, we propose to leverage the speaker's face appearance as an additional prior to isolate the corresponding vocal qualities they are likely to produce. Our approach jointly learns audio-visual speech separation and cross-modal speaker embeddings from unlabeled video. It yields state-of-the-art results on five benchmark datasets for audio-visual speech separation and enhancement, and generalizes well to challenging real-world videos of diverse scenarios. Our video results and code: http://vision.cs.utexas.edu/projects/VisualVoice/.

研究の動機と目的

• 騒音が強く複数人の話者がいる環境下で、視覚的および音声的手がかりを用いて特定話者の会話を分離する課題に対処すること。
• 遮蔽や非正面視点下で失敗しやすい、唇の動きに依存する従来の音声・視覚的会話分離手法の限界を克服すること。
• 声の特徴（周波数、トーンなど）の事前分布として、顔の外見（性別、年齢、国籍など）を活用し、分離のロバスト性を向上させること。
• 発話者IDや属性ラベルのない自己教師付き設定で、会話分離とクロスモーダル発話者埋め込みの両方を同時に学習すること。
• 実世界の多様な動画シナリオへの汎用性を示し、自己教師付きクロスモーダル発話者検証の性能を向上させること。

提案手法

• 完全にラベルなしの動画から、音声・視覚的会話分離とクロスモーダル顔・音声埋め込み学習を同時に実行するマルチタスクネットワークを訓練する。
• 発話者の顔と分離された音声の間に一貫性を保つために、対照的損失（contrastive loss）を用いる。これにより、音声が視覚的アイデンティティと一致するように保証される。
• CNNバックボーンから得られる顔の外見特徴と、3D-CNN（または同等）から得られる唇の動き特徴、および音声特徴（スペクトログラム）を統合したエンコーダーを統合的に設計する。
• 音声・視覚的一致性に基づいて、ターゲット話者の会話を分離するための時間周波数マスクを予測するマスクヘッドを適用する。
• 音声分離損失（例：SI-SDR）とクロスモーダル対照的損失の組み合わせを用いて、ネットワーク全体をエンドツーエンドで最適化する。
• 発話者IDの監視なしに、視覚的および音声的信号のみに依存することで、未学習発話者や実世界の動画に対してもゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 唇の動きが信頼できない状況（例：遮蔽、非正面視点）において、顔の外見が音声特徴の推定に有用な事前分布として機能するか？
• RQ2 会話分離とクロスモーダル埋め込みの共同学習は、単一タスク学習と比較して両タスクの性能をどのように向上させるか？
• RQ3 発話者IDラベルなしで、クロスモーダル顔・音声埋め込みがどれほど未学習発話者に一般化できるか？
• RQ4 クロスモーダル一貫性損失を導入することで、遮蔽や非正面視点といった困難な実世界シナリオにおけるロバスト性が向上するか？
• RQ5 提案手法は、従来の手法を上回る自己教師付きクロスモーダル発話者検証性能を達成できるか？

主な発見

• VisualVoiceは、音声・視覚的会話分離および強調の5つのベンチマークデータセットで最先端の性能を達成し、クリアな状況およびノイズ混在状況の両方で先行手法を上回った。
• クロスモーダル発話者検証において、VoxCeleb1テストセットでAUC 84.9、EER 23.6を達成し、未学習発話者ペア（unheard pairs）においても、先行SOTA手法であるLearnable-Pins（73.8 AUC、34.1 EER）を顕著に上回った。
• クロスモーダル顔・音声埋め込み損失は、視覚的に異なる発話者や唇の動きが見えにくい状況（例：非正面視点）において、最も顕著な性能向上をもたらした。
• 学習済み埋め込みのt-SNE可視化から、トレーニング時に属性やIDの監視なしに、性別や発話者アイデンティティごとに明確なクラスタリングが観察された。
• 会話分離と埋め込みの共同学習により、両タスクの相互的な利益が示され、埋め込みの質が向上した。
• 顔の外見特徴のロバストさに起因し、遮蔽、不規則なポーズ、複雑な背景を含む多様な実世界動画シナリオに対しても、良好な一般化性能を示した。