[論文レビュー] Audio-Visual Event Localization via Recursive Fusion by Joint Co-Attention

Bin Duan, Hao Tang+4 more|arXiv (Cornell University)|Aug 14, 2020

Music and Audio Processing参考文献 45被引用数 4

ひとこと要約

本稿では、音声と視覚の特徴を反復的なマルチモodalな注目メカニズムを通じて統合することで表現学習を向上させる、音声視覚イベントローカライゼーションのための再帰的共同共注意力メカニズムを提案する。融合の過程で両モodalを同時に注目することで、明示的な背景フィルタリングを必要とせず、より強固で相互に強化された特徴学習が可能となり、AVEデータセットにおいて最先端の性能を達成した。

ABSTRACT

The major challenge in audio-visual event localization task lies in how to fuse information from multiple modalities effectively. Recent works have shown that attention mechanism is beneficial to the fusion process. In this paper, we propose a novel joint attention mechanism with multimodal fusion methods for audio-visual event localization. Particularly, we present a concise yet valid architecture that effectively learns representations from multiple modalities in a joint manner. Initially, visual features are combined with auditory features and then turned into joint representations. Next, we make use of the joint representations to attend to visual features and auditory features, respectively. With the help of this joint co-attention, new visual and auditory features are produced, and thus both features can enjoy the mutually improved benefits from each other. It is worth noting that the joint co-attention unit is recursive meaning that it can be performed multiple times for obtaining better joint representations progressively. Extensive experiments on the public AVE dataset have shown that the proposed method achieves significantly better results than the state-of-the-art methods.

研究の動機と目的

• ノイズが多かったり関係のない特徴が混入することで性能が低下する可能性がある音声視覚イベントローカライゼーションにおける有効なマルチモーダル統合の課題に対処すること。
• 音声と視覚の両モダリティ間で双方向の共同注目を可能にする統合メカニズムを開発し、表現品質を向上させること。
• 自己教師ありで再帰的な注目メカニズムを設計することで、背景セグメントの手動フィルタリングに依存するのを減らすこと。
• 早期統合と後期統合の戦略を注目メカニズムと統合し、音声視覚シーケンスにおける局所的およびグローバルな時間的依存性を捉えること。

提案手法

• 本手法は二重統合戦略を採用する：Bi-LSTM処理の前段階で音声をガイドとする注目メカニズムによる早期統合を行い、その後、再帰的共同共注意力（JCA）を用いた後期統合を実施する。
• 共同共注意力は、両モダリティの表現を用いて、音声および視覚特徴の両方の注目マスクを生成する。これにより、各モダリティが相手のモダリティによって共に注目されるようになる。
• JCAユニットは複数回再帰的に適用され、逐次的に改善された共同表現を生成する。
• 融合後には残差接続を備えたBi-LSTMを用い、両モダリティにおける長距離時間的依存性を捉える。
• 特徴統合は単純な連結、加算、乗算ではなく、全結合層を用いることで実施され、実験的に優れた性能が得られた。
• グローバル平均プーリングと注目マップを用いて注目局所化を可視化し、関連する音声および視覚的イベントに適応的に注目していることを示した。

実験結果

リサーチクエスチョン

• RQ1 標準的な統合手法と比較して、再帰的共同共注意力メカニズムは音声視覚イベントローカライゼーションのためのマルチモーダル表現学習を改善できるか？
• RQ2 両モダリティの特徴を用いて注目マスクを生成する共同共注意力は、独立した共注意力や自己注目よりも優れた性能をもたらすか？
• RQ3 共注意力メカニズムの再帰的適用は、学習された表現の品質およびローカライゼーションの正確性にどのように影響するか？
• RQ4 提案手法は、背景セグメントの手動フィルタリングを必要とせずに優れた性能を達成できるか？

主な発見

• 提案手法は、公開されている AVE データセットにおいて最先端の性能を達成し、既存の最先端手法を顕著に上回った。
• 再帰的共同共注意力メカニズムは、再帰的統合ステップ数が増えるほど性能が向上し、反復的精錬の有効性が裏付けられた。
• 単純な操作（加算、乗算、連結）と比較して、統合に全結合層を用いることで2.1%の性能向上が得られた。
• アブレーションスタディの結果、残差接続付きBi-LSTMが性能に最も大きな影響を与えており、グローバルな時間的モデリングの重要性が浮き彫りになった。
• 定性的な結果から、モデルはヘリコプター、ギター、吠える犬、泣く子供など多様な音声視覚的イベントを、複雑なシーンの中でも適応的にローカライズできていることが示された。
• 視覚的キューが再び現れた場合、モデルはイベントの注目を回復し、例えば演奏者がカメラに戻った後にギターを検出できた。