[論文レビュー] DLF: Disentangled-Language-Focused Multimodal Sentiment Analysis

Pan Wang, Qiang Zhou+3 more|arXiv (Cornell University)|Dec 16, 2024

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

DLFは、語学中心の強化を重視するディエンタングルド型の多モーダルフレームワークを提案し、多モーダル感情分析における言語・視覚・音声間の冗長性を緩和し、MOSIとMOSEIで優れた結果を達成。構成要素を検証するアブレーションで。

ABSTRACT

Multimodal Sentiment Analysis (MSA) leverages heterogeneous modalities, such as language, vision, and audio, to enhance the understanding of human sentiment. While existing models often focus on extracting shared information across modalities or directly fusing heterogeneous modalities, such approaches can introduce redundancy and conflicts due to equal treatment of all modalities and the mutual transfer of information between modality pairs. To address these issues, we propose a Disentangled-Language-Focused (DLF) multimodal representation learning framework, which incorporates a feature disentanglement module to separate modality-shared and modality-specific information. To further reduce redundancy and enhance language-targeted features, four geometric measures are introduced to refine the disentanglement process. A Language-Focused Attractor (LFA) is further developed to strengthen language representation by leveraging complementary modality-specific information through a language-guided cross-attention mechanism. The framework also employs hierarchical predictions to improve overall accuracy. Extensive experiments on two popular MSA datasets, CMU-MOSI and CMU-MOSEI, demonstrate the significant performance gains achieved by the proposed DLF framework. Comprehensive ablation studies further validate the effectiveness of the feature disentanglement module, language-focused attractor, and hierarchical predictions. Our code is available at https://github.com/pwang322/DLF.

研究の動機と目的

• モーダリティ間の冗長性と衝突を減らし、言語を支配的なモダリティとして認識することで、MSAの改善を動機づける。
• 共有情報とモダリティ固有情報を分離するディエンタングルド表現学習フレームワークを開発する。
• 補完的なモダリティ情報を活用する言語中心のアトラクターによって、言語表現を強化する。
• 強化された特徴を融合し、階層的予測を適用して全体の感情推定を改善する。

提案手法

• 単一モーダルエンコーダを用いた特徴抽出（言語は BERT-base-uncased、視覚は Facet、音声は COVAREP）。
• 共有エンコードと3つのモダリティ専用エンコーダを用いて、マルチモーダル特徴をモダリティ共有空間とモダリティ固有空間にディエンタングルする。
• ユークリッド距離とコサイン類似度に基づく4つの幾何測度、再構成損失とトリプレット損失、およびソフト直交性損失を組み合わせてディエンタングルを正則化する。
• 言語中心のマルチモーダルクロスアテンションを用いて、他のモダリティ（VとA）から補完情報を言語特有の特徴に引き込む言語中心アトラクター（LFA）を導入する。
• 強化された共有特徴とモダリティ固有特徴をマルチモーダル融合層を通じて融合し、階層的予測（共有、固有、最終）を行う。
• 分解損失と総合MSA損失を組み合わせた目的関数でエンドツーエンド訓練を最適化する。

実験結果

リサーチクエスチョン

• RQ1 共有表現とモダリティ固有表現をディエンタングルすることで冗長性を減らし、MSAの性能を改善できるか？
• RQ2 LFAを介して情報伝達を支配的な言語モダリティに焦点化することが、感情予測の精度を向上させるか？
• RQ3 事前融合と事後融合の特徴の両方を活用する階層的予測は、単一出力のベースラインより結果を向上させるか？
• RQ4 提案された正則化項は、ディエンタングルの品質とモデル性能にどのように影響するか？
• RQ5 各コンポーネント（FDM、LFA、HP）の全体性能への寄与はどれくらいか？

主な発見

• DLFは複数のベースラインに対してMOSIとMOSEIで優れた性能を達成し、Language-Focused Attractorによる顕著な利得を示す。
• アブレーション研究は、特徴ディエンタングルメントモジュール、LFA、階層的予測の有効性が精度向上に寄与することを確認する。
• LFAまたはFDMを除去すると性能が著しく低下し、冗長性の削減とモダリティ固有の言語特徴の強化における役割を裏付けている。
• 正則化項（Lr、Ls、Lm、Lo）は、総合的に堅牢なディエンタングルと予測品質に寄与する。