[論文レビュー] Putting a Face to the Voice: Fusing Audio and Visual Signals Across a Video to Determine Speakers

Ken Hoover, Sourish Chaudhuri+3 more|arXiv (Cornell University)|May 31, 2017

Speech and Audio Processing参考文献 16被引用数 32

ひとこと要約

本論文は、動画全体にわたる音声の語りかけクラスタリングと視覚的顔のクラスタリングを統合することで、教師あり学習を必要とせず、構造のない動画において声と顔を結びつける手法を提案する。本手法は、ラベルなしの学習データを用いながらも、実世界のYouTubeデータセットにおいて71%の発話者識別精度を達成し、事前に発話者数や録音環境についての仮定を必要とせず、視界外の発話者や複数人の発話者に対しても効果的に対処できる。

ABSTRACT

In this paper, we present a system that associates faces with voices in a video by fusing information from the audio and visual signals. The thesis underlying our work is that an extremely simple approach to generating (weak) speech clusters can be combined with visual signals to effectively associate faces and voices by aggregating statistics across a video. This approach does not need any training data specific to this task and leverages the natural coherence of information in the audio and visual streams. It is particularly applicable to tracking speakers in videos on the web where a priori information about the environment (e.g., number of speakers, spatial signals for beamforming) is not available. We performed experiments on a real-world dataset using this analysis framework to determine the speaker in a video. Given a ground truth labeling determined by human rater consensus, our approach had ~71% accuracy.

研究の動機と目的

• 特定の発話者用にラベル付き学習データを必要とせず、構造のないWeb動画において声と顔を自動的に結びつけるシステムを開発すること。
• 発話者に関する事前情報が得られない動画（視界外の発話者、複数人の発話者、参加者数が不明な状況など）においても発話者識別を可能にすること。
• 動画全体にわたる音声と視覚信号の自然な整合性を活用し、弱い音声クラスタリングと強い顔のクラスタリングを組み合わせて、発話者ダイアライゼーションの精度を向上させること。
• 大規模な動画理解に応用可能な実用的でスケーラブルな、オープンウェブ動画コンテンツにおける発話者識別ソリューションを構築すること。

提案手法

• 本手法は、事前に学習済みのFaceNetモデルを用いて顔を検出し、128次元のベクトルに埋め込むことで、動画全体にわたる顔のクラスタリングを可能にし、一貫した個人を特定する。
• 音声処理には、発話者ラベルなしで粗い発話セグメントを生成する弱い音声ダイアライゼーションシステムを採用し、声の活動検出と類似度クラスタリングに依存する。
• 本手法は、動画全体にわたる証拠を集約することで音声セグメントと顔を関連付ける：ある顔が特定のセグメント中に頻繁に出現する場合、そのセグメントにリンクされる。
• 発話者を、発話中に対応する顔が最も一貫して存在するものとして特定する。発話者が視界外にいる場合でも、時間的整合性と視覚的持続性を手がかりとして用いる。
• 本手法は、音声と同期する必要がなく、空間的情報や顔と顔の対向を前提としないため、現実世界の動画変動に強く耐性を持つ。
• 性能評価は、400本のYouTube動画から抽出した3558のクリップに対して人間のレーティングの一致度タスクを実施し、評価者間一致度（Fleiss’ kappa）は0.732であった。

実験結果

リサーチクエスチョン

• RQ1 弱い音声クラスタリングと強い視覚的顔クラスタリングを効果的に統合することで、ラベルなしの学習データを一切用いずに、構造のない動画における発話者識別が可能か？
• RQ2 発話者が視界外にいる場合やカメラを向いていない場合、本システムはどの程度発話者を正しく特定できるか？
• RQ3 動画全体にわたる視覚的および音声的信号を集約することで、ランダムな確率を上回る発話者識別性能がどの程度向上するか？
• RQ4 本システムの主な失敗モードは何か。また、それらは発話者交代の仮定とどのように関係しているか？

主な発見

• 本システムは、実世界のYouTubeデータセットにおいて71%の発話者識別精度を達成し、20%のランダムベースラインを著しく上回った。
• 誤差の65%において、視界外の発話者を正しく特定できたことから、視覚的不在に対しても耐性があることが示された。
• 主な失敗モードは、明確な発話ターン境界のない重複発話であり、システムはこれを1つの発話セグメントとして扱ったため、誤差の65%がこれに起因した。
• 人間レーティングの評価者間一致度は、Fleiss’ kappa = 0.732 であり、タスクの難易度と評価の信頼性を裏付けた。
• 発話者数、録音環境、台本の事前知識が不要であるため、オープンウェブ動画分析に適した手法である。
• 弱い音声信号と強い視覚的顔クラスタリングを組み合わせることで、現実世界の動画における発話者識別に強力でスケーラブルなソリューションが得られることを示した。