[論文レビュー] On Attention Modules for Audio-Visual Synchronization

Naji Khosravan, Shervin Ardeshir+1 more|arXiv (Cornell University)|Dec 14, 2018

Music and Audio Processing参考文献 15被引用数 4

ひとこと要約

本稿では、音声と映像の同期検出を向上させるために、判別的な視覚的領域（例：口元、音を発する物体）に注目し、情報を含まないコンテンツを無視するための空間時間的および時間的アテンションモジュールを提案する。この手法は、最先端の精度を達成しており、汎用音声クラスでは9.8%の向上、会話クラスではベースライン比8.7%の向上を達成した。

ABSTRACT

With the development of media and networking technologies, multimedia applications ranging from feature presentation in a cinema setting to video on demand to interactive video conferencing are in great demand. Good synchronization between audio and video modalities is a key factor towards defining the quality of a multimedia presentation. The audio and visual signals of a multimedia presentation are commonly managed by independent workflows - they are often separately authored, processed, stored and even delivered to the playback system. This opens up the possibility of temporal misalignment between the two modalities - such a tendency is often more pronounced in the case of produced content (such as movies). To judge whether audio and video signals of a multimedia presentation are synchronized, we as humans often pay close attention to discriminative spatio-temporal blocks of the video (e.g. synchronizing the lip movement with the utterance of words, or the sound of a bouncing ball at the moment it hits the ground). At the same time, we ignore large portions of the video in which no discriminative sounds exist (e.g. background music playing in a movie). Inspired by this observation, we study leveraging attention modules for automatically detecting audio-visual synchronization. We propose neural network based attention modules, capable of weighting different portions (spatio-temporal blocks) of the video based on their respective discriminative power. Our experiments indicate that incorporating attention modules yields state-of-the-art results for the audio-visual synchronization classification problem.

研究の動機と目的

• プロフェッショナルに制作された映像（映画など）を含むマルチメディアコンテンツにおける音声と映像の時間的ずれを是正すること。
• 音声と映像の同期判断に最も関連する空間時間的ブロックを自動的に同定・重み付けするニューラルネットワークモジュールの開発。
• 人間の関心の向く関連視覚的・聴覚的手がかりを模倣するアテンション機構を活用して、音声と映像の同期の二値分類を改善すること。
• アテンション機構が、従来の畳み込みネットワークを上回る性能向上を同期検出タスクで達成できるかどうかの評価。

提案手法

• 同期済みおよび非同期の動画-音声ペアを用いて、完全畳み込みニューラルネットワークを訓練し、音声と映像の同期状態（正または負）を分類する。
• 時間的アテンションモジュールは、動画の異なる時間的セグメントに重みを割り当て、会話や音声イベントなど判別性の高いコンテンツを持つ瞬間を強調する。
• 空間時間的アテンションモジュールは、各時間的ブロック内での特定の空間的領域（例：顔、物体）に高い重みを割り当てることで、より細かい焦点を可能にする。
• アテンション重みはトレーニング中にエンドツーエンドで学習され、ネットワークが音声と映像の同期の手がかりに基づき、動的に情報量の多い動画ブロックを優先できる。
• バックボーンネットワークからの特徴マップは、多層パーセプトロンを用いてソフトアテンション重みを計算する学習可能なアテンション機構を経由する。
• 最終的な予測は、時間的および空間的に重み付けされた特徴を統合することで得られ、同期と非同期クラス間の意思決定境界の分離が向上する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構は、動画における音声と映像の同期分類精度を向上させることができるか？
• RQ2 時間的アテンションのみに比べ、空間時間的アテンションは音声と映像の同期検出において優れているか？
• RQ3 アテンションモジュールは、人間が行うように、口唇の動きや物体との相互作用といった判別的な視覚的手がかりに焦点を当てるのを支援するか？
• RQ4 アテンションベースの特徴重み付けは、同期（正）と非同期（負）の予測分布の分離にどのように影響するか？

主な発見

• 空間時間的アテンションモジュールは、ベースラインネットワークと比較して、汎用音声クラスで9.8%の絶対的精度向上を達成した。
• 会話クラスでは、空間時間的アテンションモデルが80.3%の精度を達成し、時間的アテンションより3.8%向上、ベースラインより8.7%の向上を記録した。
• 可視化結果から、アテンションモジュールが、靴が床にタップする瞬間や、音声と同期するように口元が動くといった判別的イベントに適切に高重み領域を局在化していることが示された。
• アテンションベースのモデルからの予測スコアの分布は、ベースラインと比較して、同期と非同期の例との間でより明確に分離されており、意思決定の信頼性が向上していることが示された。
• 時間的アテンションのみでもベースラインを上回る性能向上が見られたが、空間時間的アテンションは空間的局在化を組み込むことで、さらなる顕著な向上をもたらした。
• モデルのアテンション行動は人間の認知と一致しており、時間的・空間的に局在化された音声と映像のイベントに焦点を当て、背景や情報を含まないコンテンツを抑制している。