[論文レビュー] MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

Devamanyu Hazarika, Roger Zimmermann+1 more|arXiv (Cornell University)|May 7, 2020

Humor Studies and Applications被引用数 62

ひとこと要約

MISAは各モダリティのモダリティ不変表現とモダリティ特有表現を学習し、Transformerベースのフュージョンでマルチモーダル感情分析とユーモア検出を改善し、MOSI、MOSEI、UR_FUNNYで最先端の結果を達成します。

ABSTRACT

Multimodal Sentiment Analysis is an active area of research that leverages multimodal signals for affective understanding of user-generated videos. The predominant approach, addressing this task, has been to develop sophisticated fusion techniques. However, the heterogeneous nature of the signals creates distributional modality gaps that pose significant challenges. In this paper, we aim to learn effective modality representations to aid the process of fusion. We propose a novel framework, MISA, which projects each modality to two distinct subspaces. The first subspace is modality-invariant, where the representations across modalities learn their commonalities and reduce the modality gap. The second subspace is modality-specific, which is private to each modality and captures their characteristic features. These representations provide a holistic view of the multimodal data, which is used for fusion that leads to task predictions. Our experiments on popular sentiment analysis benchmarks, MOSI and MOSEI, demonstrate significant gains over state-of-the-art models. We also consider the task of Multimodal Humor Detection and experiment on the recently proposed UR_FUNNY dataset. Here too, our model fares better than strong baselines, establishing MISA as a useful multimodal framework.

研究の動機と目的

• マルチモーダル感情分析におけるモダリティ間のギャップとヘテロジニティを解消し、フュージョンを改善する動機づけ。
• モダリティ情報を不変サブスペースと特有サブスペースに因子分解する表現学習フレームワークを提案。
• 不変+特有表現を単純な注意機構ベースのフュージョンと組み合わせると予測性能が向上することを示す。
• 感情分析（MOSI/MOSEI）とユーモア検出（UR_FUNNY）でクロスドメインの有効性を示す。

提案手法

• 各モダリティの発話を共有モダリティ不変空間とモダリティ特有のプライベート空間の2つのサブスペースに射影する。
• モダリティ間で不変エンコーダの共有パラメータを使用し、モダリティごとにモダリティ特有エンコーダを持つ。
• 各モダリティを6つのベクトル（3つの不変、3つの特有）で表現するため、シンプルなフィードフォワードエンコーダを用いる。
• 6つのベクトルを結合表現上の自己注意型トランスフォーマーでフュージョンし、予測のための結合表現を生成する。
• 複合損失で学習する：タスク損失に加え、 invariant 表現を整列させる類似性（CMD）損失、冗長性を抑える差異（直交性）損失、モダリティの詳細を保持する再構成損失を組み合わせる。
• 損失項：L = L_task + α L_sim + β L_diff + γ L_recon、L_simはCMDを使用、L_diffは直交性を強制、L_reconは入力を再構成します。

実験結果

リサーチクエスチョン

• RQ1 モダリティ不変表現を学習することでモダリティ間のギャップを減らし、マルチモーダル感情分析のフュージョン性能を改善できるか。
• RQ2 モダリティ特有表現を加えることで不変特徴と組み合わせたとき、予測精度に補完情報が提供されるか。
• RQ3 単純なTransformerベースのフュージョンは不変表現と特有表現を活用して感情分析とユーモア検出で正確な予測を得るのに十分か。
• RQ4 MSAの標準ベンチマーク（MOSI、MOSEI）およびユーモア検出（UR_FUNNY）で、最先端ベースラインと比較してMISAの性能はどうか。

主な発見

• MISAはMOSIおよびMOSEIで回帰・分類指標の両方で従来モデルを上回る最先端の性能を達成。
• GloVeおよびBERTの言語特徴はともにMISAの恩恵を受け、一般にBERTがGloVeより性能を向上させる。
• UR_FUNNYでは、GloVeおよびBERT特徴を用いたMISAが強力なベースラインを上回り、マルチモーダルユーモア検出に有効であることを示す。
• アブレーション研究では、L_sim、L_diff、またはL_reconを除去すると性能が低下し、各成分の有用性が確認される。
• MOSEIのSOTA ICCNおよびMHDのC-MFNと比較して、MISAは複数指標で競争力のある改善を提供。
• 発話レベルで動作し、より複雑なフュージョン手法を超えることがあり、フュージョン前の表現学習の価値を強調している。