[論文レビュー] Adaptive Contrastive Learning on Multimodal Transformer for Review Helpfulness Predictions

T. Q. Nguyen, Xiaobao Wu+4 more|arXiv (Cornell University)|Nov 7, 2022

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本論文では、クロスモダリティ表現を強化することでレビューヘルプフルネス予測を向上させるため、マルチモーダル相互作用モジュールを備えた適応的コントラスト学習フレームワークを提案する。正例対と負例対の動的重み付けとモダリティの不一致の問題に対処することで、2つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Modern Review Helpfulness Prediction systems are dependent upon multiple modalities, typically texts and images. Unfortunately, those contemporary approaches pay scarce attention to polish representations of cross-modal relations and tend to suffer from inferior optimization. This might cause harm to model's predictions in numerous cases. To overcome the aforementioned issues, we propose Multimodal Contrastive Learning for Multimodal Review Helpfulness Prediction (MRHP) problem, concentrating on mutual information between input modalities to explicitly elaborate cross-modal relations. In addition, we introduce Adaptive Weighting scheme for our contrastive learning approach in order to increase flexibility in optimization. Lastly, we propose Multimodal Interaction module to address the unalignment nature of multimodal data, thereby assisting the model in producing more reasonable multimodal representations. Experimental results show that our method outperforms prior baselines and achieves state-of-the-art results on two publicly available benchmark datasets for MRHP problem.

研究の動機と目的

• 既存のマルチモーダルレビューヘルプフルネス予測モデルがクロスモダリティ関係を十分に捉えておらず、最適化が不十分であるという限界を解消すること。
• 対称的コントラスト学習の硬直性を克服し、予測の信頼度に基づいて損失最適化を柔軟に調整できる適応的重み付けスキームを導入すること。
• 画像とテキストが完全に一致しないモダリティの不一致の悪影響を軽減するため、クロスモダリティ表現を精緻化するマルチモーダル相互作用モジュールを設計すること。
• テキストと画像モダリティ間の相互情報の明示的マイニングを通じて、マルチモーダルレビューヘルプフルネス予測における表現学習を向上させること。
• マルチモーダルレビューヘルプフルネス予測（MRHP）タスクの公開ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• テキストと画像モダリティ間の相互情報の明示的モデリングを実現するコントラスト学習目的関数を提案し、クロスモダリティ表現を強化する。
• 予測スコアの信頼度に応じて、正例と負例のスコアに異なるペナルティを割り当てる適応的重み付け機構を導入し、最適化の柔軟性を向上させる。
• 不整合な入力データに対処できるマルチモーダル相互作用モジュールを設計し、モデルがグローバルな整合性を強制するのではなく、関連するクロスモダリティ対応に注目できるようにする。
• マルチモーダルトランスフォーマーアーキテクチャを活用し、製品情報、レビューテキスト、画像を統一表現空間に統合的に符号化する。
• 学習済み表現に基づいて、役立つとされないレビューパーソンペアを区別するため、ネガティブサンプリングを用いたコントラスト学習を適用する。
• 回帰ヘッドを用いてモデルをファインチューニングし、最終的なヘルプフルネススコアを予測する。損失は適応的コントラスト学習目的関数により最適化される。

実験結果

リサーチクエスチョン

• RQ1 テキストと画像モダリティ間のクロスモダリティ関係をどのようにより良く捉えることができるか、それがレビューヘルプフルネス予測にどのように寄与するか？
• RQ2 コントラスト学習における適応的重み付けスキームは、マルチモーダル学習における最適化の安定性と表現品質を向上させることができるか？
• RQ3 モダリティの不一致がマルチモーダルレビューヘルプフルネス予測の性能にどの程度悪影響を及ぼすか、そしてその影響をどのように軽減できるか？
• RQ4 コントラスト学習による相互情報マイニングを組み込むことで、標準的なコントラスト学習や非コントラストベースラインと比較して優れた性能が得られるか？
• RQ5 提案されたフレームワークは英語に限らず一般化可能であり、標準的なMRHPベンチマークで最先端の結果を達成できるか？

主な発見

• 提案手法は、2つの公開MRHPベンチマークデータセットで既存の最先端ベースラインを上回り、優れた予測性能を示した。
• 適応的コントラスト学習部は最適化の柔軟性を顕著に向上させ、MCRなどのモデルで観察された非現実的な予測を低減した。
• マルチモーダル相互作用モジュールはモダリティの不一致の悪影響を効果的に軽減し、より強固で正確なマルチモーダル表現を実現した。
• 実験結果から、本モデルは以前の手法と比較してF1スコアとAUCスコアが高く、曖昧または低信号のレビューや処理が難しいケースに対しても優れた性能を示した。
• 表1のReview 1のような挑戦的なケースにおいて、従来のモデルがクロスモダリティ整合性の欠如により失敗したのに対し、本モデルはより信頼性の高い予測を出力した。
• アブレーションスタディの結果、適応的重み付け、相互作用モジュール、コントラスト学習の各コンポONENTが性能向上に独立してかつ顕著に寄与していることが確認された。