[論文レビュー] Video Sentiment Analysis with Bimodal Information-augmented Multi-Head Attention

Ting Wu, Junjie Peng+4 more|arXiv (Cornell University)|Mar 3, 2021

Emotion and Mood Recognition参考文献 66被引用数 119

ひとこと要約

本稿では、動画センチメント分析のための新しいマルチモーダル統合フレームワーク、Bimodal Information-augmented Multi-Head Attention (BIMHA) を提案する。この手法は、テキスト、視覚、音声の3モダリティ間で相互作用を注目メカニズムを用いてモデル化する。音声-視覚、音声-テキスト、視覚-テキストの特徴ペアに動的注目重みを割り当て、残差構造を用いて統合することで、4つの公開データセットでセンチメント予測の正確性が向上し、MOSI、MOSEI、IEMOCAP で最先端の結果を達成した。

ABSTRACT

Humans express feelings or emotions via different channels. Take language as an example, it entails different sentiments under different visual-acoustic contexts. To precisely understand human intentions as well as reduce the misunderstandings caused by ambiguity and sarcasm, we should consider multimodal signals including textual, visual and acoustic signals. The crucial challenge is to fuse different modalities of features for sentiment analysis. To effectively fuse the information carried by different modalities and better predict the sentiments, we design a novel multi-head attention based fusion network, which is inspired by the observations that the interactions between any two pair-wise modalities are different and they do not equally contribute to the final sentiment prediction. By assigning the acoustic-visual, acoustic-textual and visual-textual features with reasonable attention and exploiting a residual structure, we attend to attain the significant features. We conduct extensive experiments on four public multimodal datasets including one in Chinese and three in English. The results show that our approach outperforms the existing methods and can explain the contributions of bimodal interaction in multiple modalities.

研究の動機と目的

• 異なるモダリティペアがセンチメント予測に不均等に寄与するマルチモーダルセンチメント統合の課題に対処すること。
• 内部モダリティ、モダリティ間、およびbimodal相互作用を同時にモデル化し、より豊かな特徴表現を得ること。
• 拡張されたマルチヘッド注目メカニズムを用いてbimodal相互作用に動的重みを割り当てることで、センチメント予測を向上させること。
• サンプルごとに異なるbimodal組み合わせ（AV、AT、VT）がセンチメント意思決定にどのように寄与しているかを可視化することで、意思決定の説明を提供すること。

提案手法

• マルチヘッド注目を拡張した、Bimodal Multi-Head Attention (BMHA) を提案。マルチモーダル特徴をクエリとして用い、bimodal特徴をキーおよびバリューとして使用する。
• BMHA を適用する前に、テンソル統合を用いてbimodal相互作用特徴を生成し、動的注目重みを付与する。
• 元のモダリティ間特徴を保持しつつ、注目強化済みのbimodal特徴と統合するために残差接続を用いる。
• 音声-視覚、音声-テキスト、視覚-テキストの相互作用をそれぞれ別々の3つの並列MHAヘッドで処理し、各ヘッドがモダリティ固有の注目パターンを学習する。
• 重み付けされたbimodal特徴をセンチメント推論ネットワークに統合し、最終的な予測を行う。
• サンプルごとの注目スコアを可視化し、リアルタイム意思決定における各bimodalペアの寄与度を解釈する。

実験結果

リサーチクエスチョン

• RQ1 動画サンプルごとに、異なるbimodal相互作用（AV、AT、VT）がセンチメント予測にどのように変動的に寄与しているか？
• RQ2 マルチヘッド注目メカニズムは、単一モダリティおよびモダリティ間表現を保持しつつ、bimodal相互作用を効果的にモデル化できるか？
• RQ3 bimodal特徴ペアに動的注目重みを割り当てる戦略は、固定統合戦略に比べてセンチメント分類性能を向上させるか？
• RQ4 提案されたモデルは、注目可視化によって予測の説明をどの程度行えるか？
• RQ5 本モデルは、中国語動画センチメント分析のような低リソース環境を含む多様なマルチモーダルデータセットにどの程度一般化できるか？

主な発見

• BIMHA は CMU-MOSI データセットで最先端の性能を達成し、テスト精度が 83.44%（Acc-2）で、'negative/non-negative' 分類の F1 スコアは 85.46% を記録した。
• MOSEI データセットでは、BIMHA が 'negative/positive' センチメント分類で 83.19% の精度（Acc-2）と 83.21% の F1 スコアを達成し、先行手法を上回った。
• IEMOCAP データセットでは、BIMHA が 'happy' クラスで 86.57% の精度と 85.8% の F1 スコアを達成し、感情カテゴリにわたる強力な性能を示した。
• 注目可視化の結果、VT（視覚-テキスト）特徴がデータセット全体で最も一貫して寄与しているのに対し、AV（音声-視覚）特徴は特定のサンプルで優勢であることがわかった。
• 非同期データの訓練を導入することでモデル性能が向上し、Self-MM の非同期設定で 53.87% の Acc-2 と 0.765 の Corr を達成した。これは、データ分布の変化に対して強い耐性を示している。
• アブレーションスタディの結果、bimodal注目を組み込むことで性能が顕著に向上し、BIMHA2（統合された注目）が複数の指標で BIMHA1（同期された注目）を上回った。