[論文レビュー] SANCL: Multimodal Review Helpfulness Prediction with Selective Attention and Natural Contrastive Learning

Wei Han, Hui Chen+3 more|arXiv (Cornell University)|Sep 12, 2022

Sentiment Analysis and Opinion Mining被引用数 8

ひとこと要約

本稿では、プローブベースの選択的アテンションとネイチャルコントラスト学習を組み合わせることで表現学習を向上させる、マルチモーダルレビューの役立つ度合い予測のための新規フレームワークSANCLを提案する。学習されたプローブマスクを用いてキーメッセージに注目し、コントラスト学習で内在するデータ相関を活用することで、3つのベンチマークデータセットにおいて、メモリ使用量を顕著に削減しつつ最先端の性能を達成する。

ABSTRACT

With the boom of e-commerce, Multimodal Review Helpfulness Prediction (MRHP), which aims to sort product reviews according to the predicted helpfulness scores has become a research hotspot. Previous work on this task focuses on attention-based modality fusion, information integration, and relation modeling, which primarily exposes the following drawbacks: 1) the model may fail to capture the really essential information due to its indiscriminate attention formulation; 2) lack appropriate modeling methods that take full advantage of correlation among provided data. In this paper, we propose SANCL: Selective Attention and Natural Contrastive Learning for MRHP. SANCL adopts a probe-based strategy to enforce high attention weights on the regions of greater significance. It also constructs a contrastive learning framework based on natural matching properties in the dataset. Experimental results on two benchmark datasets with three categories show that SANCL achieves state-of-the-art baseline performance with lower memory consumption.

研究の動機と目的

• マルチモーダルレビューの役立つ度合い予測（MRHP）における無差別的アテンション機構の限界、すなわちタスクに重要なコンテンツに注目できない点を是正すること。
• テキスト、画像、製品説明の各モダリティ間の自然な相関を活用することで、マルチモーダル表現学習を向上させること。
• 予測性能を維持または向上させながら、MRHPタスクにおけるメモリ消費量を削減すること。
• 選択的アテンションとコントラスト学習を通じて、モデルの解釈可能性とロバスト性を向上させるフレームワークの開発。
• プローブベースアテンションとマルチドメインコントラスト学習の有効性を、実世界のECレビューデータセットで検証すること。

提案手法

• 学習可能なマスクを用いてレビューおよび製品テキスト内の意味的に重要な文を強調することで、注目を絞るプローブベースの選択的アテンション機構を導入する。
• プローブマスクを用いてアテンションスコアを再正規化し、特徴量プーリングをガイドすることで、情報量の多いコンテンツに高い注目を向ける。
• データの自然なマッチング特性に基づき、CPC（コントラスト予測符号化）モデルを用いて表現を精錬する、マルチドメインコントラスト学習フレームワークを設計する。
• 2つのドメインを定義する：1つは画像-レビュー対、もう1つは製品-レビュー対。それぞれが射影表現を用いてコントラスト損失を計算する。
• ドメイン間でコントラスト損失を最小化することで、関連するモダリティ間の意味的整合性を高め、下流の予測性能を向上させる。
• 主タスクのMRHPと補助的コントラスト損失を同時に最適化することで、最小限の計算オーバーヘッドでより良い表現学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 プローブベースの選択的アテンション機構は、レビュー内のキーメッセージに注目することで、より良い役立つ度合い予測を可能にするか？
• RQ2 コントラスト学習による自然なデータ相関の統合は、MRHPのためのマルチモーダル表現学習を向上させるか？
• RQ3 提案されたSANCLフレームワークは、既存のモデルと比較して、性能を維持または向上させながらメモリ消費量を削減できるか？
• RQ4 個々の構成要素（選択的アテンションとコントラスト学習）は、全体の性能向上にどのように寄与しているか？
• RQ5 ノイズや関係のないコンテンツを含むレビューに対しても、モデルはロバストであるか？また、多様なECドメインにおいても高い性能を維持するか？

主な発見

• SANCLは、異なるECカテゴリに属する3つのベンチマークデータセットにおいて、最先端の性能を達成し、ElectronicsデータセットではMAPスコア56.19を記録した。
• Amazon-MRHP Home & Kitchenの学習中、GPUメモリ使用量が平均2.4GBにまで削減され、MCRベースライン（13.7GB）と比較して4.7倍の低減を達成した。
• アブレーションスタディの結果、プローブマスクや学習されたβを削除すると性能が低下し、キーメッセージに注目する選択的アテンションの重要性が確認された。
• コントラスト学習部は顕著な貢献を示す：$cpc_{ii}$ または $cpc_{pr}$ のいずれかを削除すると性能が低下し、両方を削除すると最も大きな低下が観察された。
• 事例スタディでは、MCRが完全に失敗して-1.08を予測するのに対し、SANCLは正しく4.53の役立つ度合いスコアを予測した。これにより、より高いロバスト性が示された。
• 実例では高いCPCスコア（$cpc_{ii}=0.82$, $cpc_{pr}^{t}=0.76$）を達成し、画像とテキスト間の強い意味的整合性が裏付けられ、正確な予測を支援していることが示された。