[論文レビュー] Learning Language-guided Adaptive Hyper-modality Representation for Multimodal Sentiment Analysis

Haoyu Zhang, Yu Wang+4 more|arXiv (Cornell University)|Oct 9, 2023

Multimodal Machine Learning ApplicationsComputer Science参考文献 29被引用数 3

ひとこと要約

本稿では、言語の誘導のもとで視覚的・音声的モダリティにおける感情関連でない情報や矛盾する情報を抑制するための、適応的ハイパーモダリティ学習（AHL）モジュールを備えた、新たなフレームワークである適応的言語誘導マルチモーダルトランスフォーマー（ALMT）を提案する。統合的で頑健なハイパーモダリティ表現を学習することで、ALMTはMOSI、MOSEI、CH-SIMSデータセットにおいて最先端の性能を達成し、一般化性能と安定性が向上した。

ABSTRACT

Though Multimodal Sentiment Analysis (MSA) proves effective by utilizing rich information from multiple sources (e.g., language, video, and audio), the potential sentiment-irrelevant and conflicting information across modalities may hinder the performance from being further improved. To alleviate this, we present Adaptive Language-guided Multimodal Transformer (ALMT), which incorporates an Adaptive Hyper-modality Learning (AHL) module to learn an irrelevance/conflict-suppressing representation from visual and audio features under the guidance of language features at different scales. With the obtained hyper-modality representation, the model can obtain a complementary and joint representation through multimodal fusion for effective MSA. In practice, ALMT achieves state-of-the-art performance on several popular datasets (e.g., MOSI, MOSEI and CH-SIMS) and an abundance of ablation demonstrates the validity and necessity of our irrelevance/conflict suppression mechanism.

研究の動機と目的

• 非優位モダリティ（例：視覚的・音声的）における感情関連でない情報や矛盾する情報がマルチモーダル感情分析（MSA）性能に与える悪影響を是正すること。
• 重複または矛盾する特徴からの干渉を低減するための統合的で補完的な表現を学習することで、マルチモーダル統合を改善すること。
• 学習可能な言語誘導メカニズムを通じて、モダリティ固有の乱れ（例：照明、ノイズ）を明示的にモデル化すること。
• モダリティ間の分布ギャップを狭めることで、より頑健で一般化可能な感情予測を達成すること。
• 広範なアブレーションおよび可視化を通じて、提案された無関係／矛盾抑制メカニズムの必要性と有効性を検証すること。

提案手法

• 各モダリティ（テキスト、音声、動画）は、可学習クラストークンを備えたトランスフォーマーを用いて一様なシーケンス表現に埋め込まれ、冗長性とシーケンス長が低減される。
• 音声および視覚的特徴から、言語の多スケール特徴による誘導のもとで、結合的ハイパーモダリティ表現を生成するための適応的ハイパーモダリティ学習（AHL）モジュールが導入される。
• AHLモジュールは、視覚的および音声的特徴の言語モダリティに対する関連性に基づいて動的に重みを割り当てるアテンション機構を用い、コン pact かつ矛盾に強い表現を生成する。
• クロスモダリティ統合トランスフォーマーは、言語特徴をクエリとし、ハイパーモダリティ特徴をキーおよびバリューとして用い、感情分類のための統合的で補完的な表現を学習する。
• 標準的なMSA損失関数（回帰（MAE、Corr）、分類（Acc-7、Acc-2））を用いて、モデルはエンド・ツー・エンドで訓練される。
• フレームワークはMOSI、MOSEI、CH-SIMSで評価され、安定性およびモダリティ貢献度の分析のためのアブレーションスタディおよび可視化が実施される。

実験結果

リサーチクエスチョン

• RQ1 言語誘導による不要な視覚的および音声的特徴の抑制は、マルチモーダル感情分析性能にどのように寄与するか？
• RQ2 提案されたAHLモジュールは、音声的および視覚的特徴間のモダリティ内およびモダリティ間の分布ギャップをどの程度低減するか？
• RQ3 視覚的および音声的モダリティにおけるノイズや不要なフレームが存在する状況でも、モデルは頑健性を維持できるか？
• RQ4 AHLにおける多スケール言語誘導は、ハイパーモダリティ表現の品質にどのように影響するか？
• RQ5 提案されたフレームワークにおいて、視覚的モダリティと音声的モダリティの間で、最終的な感情予測への相対的貢献度はどのように異なるか？

主な発見

• ALMTは、MOSI、MOSEI、CH-SIMSにおいて最先端の性能を達成し、分類および回帰指標の両方で既存手法を上回った。
• CH-SIMSでは、MAEが0.286、Corrが0.782を達成し、微細な感情回帰において優れた性能を示した。
• アブレーションスタディの結果、AHLモジュールを削除すると顕著な性能低下が生じ、その破壊的特徴の抑制に不可欠であることが裏付けられた。
• 可視化の結果、ピークフレームにランダムノイズを追加した場合、言語と視覚的特徴間のアテンション重みが著しく低下しており、AHLが感情関連でない情報を効果的に抑制できていることが確認された。
• t-SNE可視化により、音声的および視覚的モダリティからのハイパーモダリティ表現が共有の分布へ収束していることが確認され、モダリティの不一致が低減された。
• 収束解析から、ALMTはMulT、MISA、Self-MMといった最先端ベースラインと比較して、訓練の際の変動が少なく、より良好な一般化性能を示す安定した学習を達成したことが分かった。