[論文レビュー] Multimodal Representations Learning Based on Mutual Information Maximization and Minimization and Identity Embedding for Multimodal Sentiment Analysis

Jiahao Zheng, Sen Zhang+2 more|arXiv (Cornell University)|Jan 10, 2022

Sentiment Analysis and Opinion Mining被引用数 5

ひとこと要約

本稿では、モダリティ間の相互情報量を同時に最大化し、入力と特徴量間の相互情報量を最小化することでノイズをフィルタリングすることにより、頑健性と文脈モデリングを向上させる、MMMIEと呼ばれるマルチモーダルセンチメント分析モデルを提案する。アイデンティティ埋め込みを統合することで文脈認識を向上させ、IEMOCAPおよびCMU-MOSEIデータセットで最先端の性能を達成した。

ABSTRACT

Multimodal sentiment analysis (MSA) is a fundamental complex research problem due to the heterogeneity gap between different modalities and the ambiguity of human emotional expression. Although there have been many successful attempts to construct multimodal representations for MSA, there are still two challenges to be addressed: 1) A more robust multimodal representation needs to be constructed to bridge the heterogeneity gap and cope with the complex multimodal interactions, and 2) the contextual dynamics must be modeled effectively throughout the information flow. In this work, we propose a multimodal representation model based on Mutual information Maximization and Minimization and Identity Embedding (MMMIE). We combine mutual information maximization between modal pairs, and mutual information minimization between input data and corresponding features to mine the modal-invariant and task-related information. Furthermore, Identity Embedding is proposed to prompt the downstream network to perceive the contextual information. Experimental results on two public datasets demonstrate the effectiveness of the proposed model.

研究の動機と目的

• マルチモーダルセンチメント分析におけるテキスト、音声、映像モダリティ間の非均質性ギャップを解消すること。
• 最小十分情報制約を用いて冗長でノイズの多い情報をフィルタリングすることで、モデルの頑健性を向上させること。
• 深層から浅層への文脈的認識を可能にすることで、会話シーケンス全体における文脈モデリングを強化すること。
• 相互情報量最適化とアイデンティティ埋め込みを統合した包括的フレームワークを構築し、エンドツーエンドのマルチモーダル表現学習を実現すること。
• 幾何的変換やラテン相互作用機構に依存する従来手法の限界を克服し、計算コストの増加や浅層情報の損失を回避すること。

提案手法

• MINE推定器を用いて、テキスト-音声、音声-映像、テキスト-映像のモダリティペア間の相互情報量（MI）を最大化し、モダリティ不変表現を学習する。
• CLUB推定器を用いて、入力データと特徴量間の相互情報量（MI）を最小化することで、最小十分情報の制約を強制し、ノイズを低減して頑健性を向上させる。
• アイデンティティ埋め込み（IE）を導入し、浅層から深層への文脈的ダイナミクスを保持・伝達することで、長距離依存関係のモデリングを強化する。
• MIの下界（MINE）と上界（CLUB）を統合した共同最適化目的関数を設計し、同時にクロスモダリティのアライメントとノイズ抑制を促進する。
• 複数レベルでのマルチモーダル特徴の統合を可能にする、統合された深層ニューラルネットワークアーキテクチャに提案手法を統合する。
• 情報フローに沿った効果的なバックプロパゲーションを可能にするために、MI推定から導出された補助損失を用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 モダリティペア間の相互情報量最大化は、マルチモーダルセンチメント分析におけるクロスモダリティ表現アライメントを改善できるか？
• RQ2 入力と特徴量間の相互情報量最小化は、冗長でノイズの多い情報をフィルタリングすることでモデルの頑健性を向上させられるか？
• RQ3 提案されたアイデンティティ埋め込み機構は、マルチモーダル会話の連続発話における文脈モデリングを効果的に改善できるか？
• RQ4 MIの最大化と最小化を共同で最適化する手法は、従来の幾何的またはアテンションベースの統合戦略と比較して、性能と効率の面で優れているか？
• RQ5 提案されたMMMIEフレームワークは、異なるマルチモーダルセンチメント分析ベンチマークにどの程度一般化可能か？

主な発見

• 提案されたMMMIEモデルは、IEMOCAPおよびCMU-MOSEIデータセットの両方で最先端の性能を達成し、従来の手法を上回った。
• アブレーションスタディの結果、MI最大化と最小化を組み合わせることでモデルの頑健性が顕著に向上し、最適化目的関数に統合した際、MI下界曲線が安定した。
• MI最小化の導入により、ノイズへの影響が顕著に低減されたことが、入力と特徴量間の相互情報量上界曲線が低下したことで裏付けられた。
• ケーススタディでは、モデルがモダリティ不変特徴を効果的に活用できており、少なくとも2つのモダリティが強い手がかりを提供する場合に感情を正しく認識した。
• モデルはしばしば曖昧なテキスト的ヒントに過剰に依存することで誤分類を起こすことがあり、これはテキストモダリティへの依存の高さを示しており、モダリティのバランス改善の必要性を示唆している。
• アイデンティティ埋め込みは、感情のダイナミクスが時間経過とともに変化するようなシーケンスにおいて、より優れた文脈認識を実現しており、遅延して現れる感情表現を持つサンプルでその有効性が示された。