[論文レビュー] UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition

Guimin Hu, Ting-En Lin+4 more|arXiv (Cornell University)|Nov 21, 2022

Sentiment Analysis and Opinion Mining被引用数 11

ひとこと要約

本論文は、感情分析と感情認識の両タスクで特徴量、ラベル、モデルを共有することで、統合的マルチモーダルフレームワークUniMSEを提案する。事前学習済みモダリティ統合層、対照的学習、統一されたユニバーサルラベルを導入することで、MOSI、MOSEI、MELD、IEMOCAPの4つのベンチマークデータセットにおいて最先端の性能を達成し、マルチモーダル表現学習における精度と一貫性の向上を示した。

ABSTRACT

Multimodal sentiment analysis (MSA) and emotion recognition in conversation (ERC) are key research topics for computers to understand human behaviors. From a psychological perspective, emotions are the expression of affect or feelings during a short period, while sentiments are formed and held for a longer period. However, most existing works study sentiment and emotion separately and do not fully exploit the complementary knowledge behind the two. In this paper, we propose a multimodal sentiment knowledge-sharing framework (UniMSE) that unifies MSA and ERC tasks from features, labels, and models. We perform modality fusion at the syntactic and semantic levels and introduce contrastive learning between modalities and samples to better capture the difference and consistency between sentiments and emotions. Experiments on four public benchmark datasets, MOSI, MOSEI, MELD, and IEMOCAP, demonstrate the effectiveness of the proposed method and achieve consistent improvements compared with state-of-the-art methods.

研究の動機と目的

• 感情分析と感情認識が心理的および表現的に補完的であるにもかかわらず、従来の手法が両者を別個のタスクとして扱うというギャップを解消すること。
• 感情および感情タスクのためのマルチモーダル入力特徴量、出力ラベル、モデルアーキテクチャを統合すること。
• 文法的および意味的レベルでの複数のテキストレベルにおける音声および視覚信号の統合を通じて、マルチモーダル表現学習を強化すること。
• 感情および感情間のモダリティ間対照的学習を用いて一般化能力および判別能力を向上させること。
• MOSI、MOSEI、MELD、IEMOCAPを含む多様なマルチモーダルベンチマークにおいて、統合フレームワークの有効性を検証すること。

提案手法

• 感情分析と感情認識の両方を1つの生成タスクとして扱う統合的マルチモーダル感情共有フレームワーク（UniMSE）を提案する。
• T5ベースのトランスフォーマー・アーキテクチャ内に、音声および視覚的特徴量と多層テキスト表現（文法的および意味的）を統合する事前学習済みモダリティ統合（PMF）層を導入する。
• 感情と感情を意味的類似性に基づいて共有埋め込み空間に形式化することで、ユニバーサルラベル（UL）を定義し、統合予測を可能にする。
• モダリティ間で内挿分岐を最小化し、外挿分岐を最大化するように、モダリティ間対照的学習（CL）を適用し、判別的表現学習を強化する。
• T5ベースのエンコーダデコーダ構造を用いて、感情分析および感情予測タスクの両方の統合出力を生成する。
• T-SNE可視化を用いて、ポジティブな感情と喜びの感情、および元のと生成された感情ラベルの表現が共通の特徴空間を占めることを検証する。

実験結果

リサーチクエスチョン

• RQ1 心理的および意味的類似性に基づいて、感情と感情を1つのマルチモーダル表現空間に統合的に扱うことは可能か？
• RQ2 感情と感情の共同モデリングは、マルチモーダル感情分析および感情認識タスクの性能を向上させるか？
• RQ3 テキスト、音声、視覚的特徴量の多層統合は、統合フレームワークにおける表現学習をどのように強化するか？
• RQ4 モダリティ間対照的学習は、マルチモーダル埋め込みの判別力の向上にどの程度寄与するか？
• RQ5 統合フレームワークは、MOSI、MOSEI、MELD、IEMOCAPのような多様なベンチマークに一般化可能か？

主な発見

• UniMSEは、MOSI、MOSEI、MELD、IEMOCAPの4つのベンチマークデータセットにおいて、すべての指標（MAE、相関係数（Corr）、ACC-2、F1）で最先端の性能を達成した。
• MOSIデータセットでは、MAEが0.691、相関係数が0.809を達成し、従来の最先端手法を上回った。
• アブレーションスタディの結果、音声（A）または視覚（V）モダリティ、PMF、対照的学習（CL）を削除すると性能が低下し、それらの有効性が確認された。
• IEMOCAPおよびMELDを訓練から除外するとMOSIの性能が低下したため、クロスタスク知識移譲の恩恵があることが示された。
• T-SNE可視化により、ポジティブな感情と喜びの感情、および元のと生成された感情ラベルの表現が共通の特徴空間を占めていることが確認され、フレームワークによる感情と感情の整合性が検証された。
• 混合データセットで学習させてもモデルの性能が安定しており、統合フレームワークの一般化能力が示された。