[論文レビュー] Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive Learning for Multimodal Emotion Recognition

Yuntao Shou, Tao Meng+3 more|arXiv (Cornell University)|Dec 28, 2023

Emotion and Mood Recognition被引用数 4

ひとこと要約

本稿では、モダリティ間の不均一性を低減するための敵対的表現学習と、モダリティ内・モダリティ間・クラス内・クラス間の意味的関係を捉えるためのグラフ対照学習を用いた、新しいマルチモーダル感情認識フレームワークAR-IIGCNを提案する。この手法は、IEMOCAPおよびMELDデータセットで最先端の性能を達成し、RoBERTa-Largeを用いた場合にIEMOCAPで70.4%の重み付きF1を達成しており、統合的モダリティ整合化と対照学習によって優れた特徴表現と分類精度を実現している。

ABSTRACT

With the release of increasing open-source emotion recognition datasets on social media platforms and the rapid development of computing resources, multimodal emotion recognition tasks (MER) have begun to receive widespread research attention. The MER task extracts and fuses complementary semantic information from different modalities, which can classify the speaker's emotions. However, the existing feature fusion methods have usually mapped the features of different modalities into the same feature space for information fusion, which can not eliminate the heterogeneity between different modalities. Therefore, it is challenging to make the subsequent emotion class boundary learning. To tackle the above problems, we have proposed a novel Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive for Multimodal Emotion Recognition (AR-IIGCN) method. Firstly, we input video, audio, and text features into a multi-layer perceptron (MLP) to map them into separate feature spaces. Secondly, we build a generator and a discriminator for the three modal features through adversarial representation, which can achieve information interaction between modalities and eliminate heterogeneity among modalities. Thirdly, we introduce contrastive graph representation learning to capture intra-modal and inter-modal complementary semantic information and learn intra-class and inter-class boundary information of emotion categories. Specifically, we construct a graph structure for three modal features and perform contrastive representation learning on nodes with different emotions in the same modality and the same emotion in different modalities, which can improve the feature representation ability of nodes. Extensive experimental works show that the ARL-IIGCN method can significantly improve emotion recognition accuracy on IEMOCAP and MELD datasets.

研究の動機と目的

• テキスト、音声、映像の特徴が共有空間にマッピングされるマルチモーダル感情認識におけるモダリティ不均一性の課題に対処すること。これにより、特徴の不整合と境界学習の悪化が生じる。
• 各モダリティ間の補完的意味的情報を捉えることで、特徴表現を向上させること。
• 対照学習を用いてクラス内凝集性とクラス間分離性を明示的にモデル化することで、クラス境界学習を強化すること。
• 感情認識にとどまらず、マルチモーダルユーモア検出など他のタスクにも適用可能な汎用的フレームワークの開発。
• アブレーションスタディおよびクロスデータセット評価を通じて、敵対的学習とグラフ対照学習の有効性を検証すること。

提案手法

• モデルは、テキスト用にRoBERTa、映像用にDenseNet、音声用にBi-LSTMを用いた別個のエンコーダーを採用し、それぞれ異なる初期特徴空間にモダリティ固有の特徴を抽出する。
• 分布の差を最小化することで、異なるモダリティ間の特徴を統一する敵対的表現学習モジュール（TGAN）を導入し、モダリティ不均一性を低減する。
• ノードがサンプルを表すグラフ対照学習フレームワークを構築し、同じモダリティで同じ感情を持つサンプル間（モダリティ内）および異なるモダリティで同じ感情を持つサンプル間（モダリティ間）にエッジを形成する。
• モダリティ内対照学習は、同じモダリティ内で同じ感情のサンプル間の類似性を最大化する。一方、モダリティ間対照学習は、異なるモダリティで同じ感情のサンプル間の距離を最小化する。
• 構築されたグラフ構造に基づき、表現を伝搬・精錬するためのグラフニューラルネットワークを採用し、ノードレベルの特徴学習を強化する。
• 最終的に、精錬されたマルチモーダル表現を入力とするマルチレイヤーパーセプトロン（MLP）が、エンドツーエンドの感情分類を実行する。

Figure 1: Illustrative example of the effect of different feature fusion methods on sentiment classification. (a) The feature extraction process for text, video and audio modalities. (b) The model learns emotion class boundaries in a feature fusion manner to map a common feature space. (c) The model

実験結果

リサーチクエスチョン

• RQ1 敵対的表現学習は、マルチモーダル感情認識におけるモダリティ不均一性を効果的に低減できるか？
• RQ2 統合的モダリティ内およびモダリティ間のグラフ対照学習は、特徴表現とクラス境界学習をどのように向上させるか？
• RQ3 敵対的統合、モダリティ内対照学習、モダリティ間対照学習の各成分が、全体の性能に果たす相対的寄与度は何か？
• RQ4 提案されたAR-IIGCNフレームワークは、感情認識を超えて他のマルチモーダルタスクにも一般化可能か？
• RQ5 本モデルは、IEMOCAPやMELDといったベンチマークデータセットで最先端の性能を達成するか？

主な発見

• RoBERTa-Largeをテキストエンコーダーとして用いた場合、AR-IIGCNはIEMOCAPデータセットで70.4%の重み付きF1スコアを達成し、ベースラインおよびアブレーションバージョンを上回った。
• MELDデータセットでは、RoBERTa-Largeを用いた場合に64.0%の重み付きF1スコアを達成し、データセット間での優れた一般化性能を示した。
• アブレーションスタディの結果、モダリティ内対照学習（IMCL）とモダリティ間対照学習（ICCL）が性能向上に最も寄与しており、IMCLは完全モデルに次いで2番目に高い性能を示した。
• 敵対的統合（TGAN）モジュールはベースラインに対してわずかな改善をもたらしたが、対照学習ほど大きな影響は示さなかったことから、モダリティ統合に役立つが、その貢献度は対照学習に比べて小さいことが示された。
• 他のマルチモーダルタスクへの一般化性能も高く、C-MFNに適用した場合、UR-FUNNYデータセットでユーモア検出精度が7.57%向上した。
• 完全なAR-IIGCNモデルは、IEMOCAPおよびMELDの両方で、すべてのアブレーションバージョンおよびベースラインモデルを一貫して上回り、各コンponents間の相乗効果が確認された。

Figure 2: The overall framework of the Adversarial Representation Learning with Intra-Modal and Inter-Modal Graph Contrastive Learning consists of a data preprocessing layer, a multimodal feature fusion layer, a graph contrastive representation learning layer, and an emotion classification layer.