[論文レビュー] Crossmodal learning for audio-visual speech event localization

Rahul Sharma, Krishna Somandepalli+1 more|arXiv (Cornell University)|Mar 9, 2020

Speech and Audio Processing参考文献 17被引用数 11

ひとこと要約

本稿では、ビデオフレームから時間的・空間的キューを学習することで、音声・視覚話法的イベントを局所化するためのクロスモダリティニューラルネットワークを提案する。これにより、音声・視覚話法的活動検出およびアクティブスピーカー局所化において、最先端の性能を達成する。

ABSTRACT

An objective understanding of media depictions, such as about inclusive portrayals of how much someone is heard and seen on screen in film and television, requires the machines to discern automatically who, when, how and where someone is talking. Media content is rich in multiple modalities such as visuals and audio which can be used to learn speaker activity in videos. In this work, we present visual representations that have implicit information about when someone is talking and where. We propose a crossmodal neural network for audio speech event detection using the visual frames. We use the learned representations for two downstream tasks: i) audio-visual voice activity detection ii) active speaker localization in video frames. We present a state-of-the-art audio-visual voice activity detection system and demonstrate that the learned embeddings can effectively localize to active speakers in the visual frames.

研究の動機と目的

• 機械が動画コンテンツにおいて、誰が、いつ、何を話しているかを自動で検出できるようにすること。
• マルチモーダル信号を用いて、音声・視覚メディアにおけるアクティブスピーカーを同定する課題に対処すること。
• 話者の発話タイミングと空間的位置を暗黙的に符号化する視覚表現を開発すること。
• クロスモダリティ学習を通じて、音声・視覚話法的活動検出およびアクティブスピーカー局所化を向上させること。
• 学習された視覚埋め込みが、ビデオフレーム内の発話イベントを局所化するのに有効であることを示すこと。

提案手法

• 本手法は、視覚的および音声的特徴を統合して話法的イベントを検出するクロスモダリティニューラルネットワークを採用する。
• 視覚フレームが処理され、発話がいつ・どこで起こっているかを暗黙的に符号化する表現が抽出される。
• 統合された視覚的および音声的監視信号を用いて、音声・視覚話法的イベントの予測が行われる。
• 学習された視覚埋め込みは、2つの下流タスク（音声活動検出およびアクティブスピーカー局所化）のためのファインチューニングが行われる。
• アテンション機構を活用して、視覚的および音声的モダリティを整合化し、検出性能を向上させる。
• エンドツーエンドの学習により、音声・視覚話法的検出および局所化のための共同表現が最適化される。

実験結果

リサーチクエスチョン

• RQ1 視覚表現のみで、話法的イベントの時間的および空間的キューを暗黙的に符号化できるか？
• RQ2 クロスモダリティ学習は、単一モダリティベースラインと比較して、音声・視覚話法的活動検出をどの程度効果的に改善できるか？
• RQ3 学習された視覚埋め込みは、ビデオフレーム内でアクティブスピーカーを高精度に局所化できるか？
• RQ4 本手法は、先行手法と比較して、アクティブスピーカー局所化タスクでどの程度の性能向上を達成できるか？
• RQ5 複雑な動画シーンにおいて、視覚特徴はどの程度、頑健な話法的イベント検出に寄与するか？

主な発見

• 提案手法は、音声・視覚話法的活動検出において最先端の性能を達成した。
• 学習された視覚埋め込みは、ビデオフレーム内のアクティブスピーカーに効果的に局在化された。
• 音声と視覚のモダリティ間のクロスモダリティ相互作用を活用することで、検出精度が向上した。
• 視覚表現には、話者の発話タイミングと空間的位置に関する暗黙の情報が含まれており、下流の局所化タスクに有効に機能した。
• 本手法は、音声活動検出およびアクティブスピーカー局所化の両タスクで、既存手法を上回った。
• 結果から、クロスモダリティ学習を組み合わせることで、視覚データのみでも、正確な音声・視覚話法的イベント局所化が可能であることが確認された。