[論文レビュー] Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment Analysis

Sijie Mai, Ying Zeng+2 more|arXiv (Cornell University)|Sep 4, 2021

Sentiment Analysis and Opinion Mining被引用数 13

ひとこと要約

本論文は、モダリティ間のギャップを低減し、クラス間の関係を保持するために、内モダリティ、跨モダリティ、および準対照学習を統合的に最適化する新しいハイブリッド対照学習フレームワーク、HyConを提案する。教師あり対照学習に修飾項とモダリティマージンを組み合わせることで、公開データセットにおいて最先端の性能を達成し、精度、F1、MAEの観点で既存手法を顕著に上回った。

ABSTRACT

The wide application of smart devices enables the availability of multimodal data, which can be utilized in many tasks. In the field of multimodal sentiment analysis (MSA), most previous works focus on exploring intra- and inter-modal interactions. However, training a network with cross-modal information (language, visual, audio) is still challenging due to the modality gap, and existing methods still cannot ensure to sufficiently learn intra-/inter-modal dynamics. Besides, while learning dynamics within each sample draws great attention, the learning of inter-class relationships is neglected. Moreover, the size of datasets limits the generalization ability of existing methods. To address the afore-mentioned issues, we propose a novel framework HyCon for hybrid contrastive learning of tri-modal representation. Specifically, we simultaneously perform intra-/inter-modal contrastive learning and semi-contrastive learning (that is why we call it hybrid contrastive learning), with which the model can fully explore cross-modal interactions, preserve inter-class relationships and reduce the modality gap. Besides, a refinement term is devised to prevent the model falling into a sub-optimal solution. Moreover, HyCon can naturally generate a large amount of training pairs for better generalization and reduce the negative effect of limited datasets. Extensive experiments on public datasets demonstrate that our proposed method outperforms existing works.

研究の動機と目的

• マルチモーダルセンチメント分析（MSA）における持続的なモダリティギャップを是正するため、クロスモダリティ表現学習を改善すること。
• 既存のMSA手法でしばしば無視されるクラス間関係を活用することで、モデルの一般化性能を向上させること。
• 小規模な公開データセットに起因する過学習を、対照学習に基づくデータ拡張によって軽減すること。
• 同時にサンプル内およびサンプル間の内モダリティおよび跨モダリティダイナミクスを捉える統合フレームワークを構築すること。
• 修飾項とモダリティマージンを有する新しい損失関数を用いて、統合クロスモダリティ埋め込みの判別性能を向上させること。

提案手法

• HyConは、三つの対照学習コンponent（内モダリティ対照学習：IAMCL、跨モダリティ対照学習：IEMCL、準対照学習：SCL）を用い、テキスト、音声、ビジュアルの三モダリティデータを処理する。
• IAMCLおよびIEMCLは、教師あり対照損失であり、同じクラスの埋め込みを特徴空間で近づけ、異なるクラスの埋め込みを遠ざける。
• SCLは、各サンプル内のポジティブペアにのみ焦点を当て、モダリティ分布を統合し、モダリティギャップを低減するが、ネガティブペアのサンプリングを回避する。
• 最適化中の劣悪な解を防ぐために修飾項が導入され、収束安定性が向上する。
• クロスモダリティ統合時にモダリティ固有の情報を保持するためにモダリティマージンが組み込まれ、より良い表現学習が可能になる。
• フレームワークはミニバッチから自然に大規模なポジティブおよびネガティブペアを生成し、限られたデータセットにおける一般化性能を向上させ、過学習を軽減する。

実験結果

リサーチクエスチョン

• RQ1 内モダリティ、跨モダリティ、および準対照学習を同時に最適化することで、マルチモーダルセンチメント分析におけるクロスモダリティ表現学習が向上するか？
• RQ2 対照学習を用いてクラス間関係を統合することで、小規模データセットにおけるモデルの一般化性能と性能が向上するか？
• RQ3 修飾項とモダリティマージンが、学習された埋め込みのロバスト性と判別力の向上に寄与するか？
• RQ4 古典的対照損失（例：トリプレット損失、Nペア損失、古典的対照損失）と比較して、HyConの性能と一般化能力はどのように異なるか？
• RQ5 ハイブリッド対照学習フレームワークは、どれほどモダリティギャップを低減し、センチメント分類精度を向上させるか？

主な発見

• HyConは7クラスのセンチメント分類ベンチマークで46.6％の精度を達成し、次に優れた手法（ハードトリプレットマイニング）を1.1ポイント上回った。
• 2クラス設定では85.2％の精度を達成し、ハードトリプレットマイニングを0.9ポイント上回り、対照学習を用いない最良のベースラインを1.7ポイント上回った。
• F1スコアは85.1％を記録し、次に優れた手法（ハードトリプレットマイニング）を0.9ポイント上回り、古典的対照損失およびNペア損失を著しく上回った。
• MAEは0.713にまで低下し、古典的対照損失（0.740）およびトリプレット損失（0.797）を上回り、より優れた回帰性能を示した。
• 相関係数は0.790を維持し、他の指標の向上にもかかわらず、正解のセンチメントスコアと強い一貫性を示した。
• アブレーションスタディにより、IAMCL、IEMCL、SCL、修飾項、モダリティマージンの各コンponentが性能向上に寄与していることが確認され、全HyConモデルがこれらのコンponentを欠落させたバージョンを上回った。