[論文レビュー] WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual World Knowledge

Wenbin Wang, Liang Ding+4 more|arXiv (Cornell University)|Jan 12, 2024

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

WisdoMは、大規模な視覚言語モデル（LVLM）から抽出した文脈的世界知識を統合することで、マルチモーダルセンチメント分析を向上させるプラグインフレームワークを提案する。プロンプトテンプレートとトレーニングフリーの文脈統合メカニズムを用いて関連する文脈を生成し、SOTA手法よりも平均でF1スコアを+1.89向上させ、難易度の高いサンプルでは最大+5.8 F1の向上を達成した。

ABSTRACT

Sentiment analysis is rapidly advancing by utilizing various data modalities (e.g., text, image). However, most previous works relied on superficial information, neglecting the incorporation of contextual world knowledge (e.g., background information derived from but beyond the given image and text pairs) and thereby restricting their ability to achieve better multimodal sentiment analysis (MSA). In this paper, we proposed a plug-in framework named WisdoM, to leverage the contextual world knowledge induced from the large vision-language models (LVLMs) for enhanced MSA. WisdoM utilizes LVLMs to comprehensively analyze both images and corresponding texts, simultaneously generating pertinent context. To reduce the noise in the context, we also introduce a training-free contextual fusion mechanism. Experiments across diverse granularities of MSA tasks consistently demonstrate that our approach has substantial improvements (brings an average +1.96% F1 score among five advanced methods) over several state-of-the-art methods.

研究の動機と目的

• 既存のマルチモーダルセンチメント分析（MSA）モデルが、生の画像・テキストペアを超えた文脈的世界知識を欠いているという限界を解決すること。
• 特に歴史的・文化的な文脈といった外部の背景的世界知識を統合することで、感情予測の正確性が向上するかどうかを調査すること。
• 再トレーニングを必要とせず、SOTAのMSAモデルを拡張可能なスケーラブルでモデルに依存しないフレームワークを構築すること。
• 生成された文脈的世界知識に含まれるノイズを軽減し、入力モダリティとの信頼性の高い統合を実現すること。
• 複数のベンチマークとモデルアーキテクチャをカバーする一貫したパフォーマンス向上を実証すること。

提案手法

• LVLMが画像・テキストペアから文脈的に関連する世界知識を生成するのを導くため、ChatGPTを用いてプロンプトテンプレートを生成する。
• 大規模な視覚言語モデル（LVLM）を用い、入力画像と文をもとに文脈的世界知識（以下「文脈」と呼ぶ）を生成する。
• トレーニングを必要としない文脈統合メカニズムを導入し、文脈をMFAモデルに選択的に統合することで、ノイズの影響を低減する。
• 既存のMSAモデルにプラグインとして適用し、さまざまなアーキテクチャ（例：LLaVA、AoM、mPLUG-Owl2）で普遍的な向上を実現する。
• 段階的文脈統合を適用し、個々の文脈文の寄与度を分析することで、歴史的・出来事ベースの文脈の重要性を検証する。
• 難易度の高いサンプル（信頼度が低い、δ ≤ 0.3）における誤り率を可視化し、文脈統合の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 感情分析の向上に最も寄与する世界知識の種別（例：歴史的、政治的、文化的）は何か？
• RQ2 文脈的世界知識の統合が、曖昧または難易度の高いサンプルの感情予測性能に与える影響は何か？
• RQ3 文脈統合メカニズムが生成された文脈からのノイズをどの程度低減し、困難な予測に対するロバストネスを向上させるか？
• RQ4 LVLMのサイズや学習データ量が増加するにつれて、WisdoMのパフォーマンス向上はスケーリングするか？
• RQ5 再トレーニングを伴わずに、さまざまなSOTAのMSAモデルに普遍的に適用可能か？

主な発見

• WisdoMは5つの先進的MSA手法全体で平均してF1スコアを+1.89向上させ、難易度の高いサンプルでは最大+5.8 F1の向上を達成した。
• 歴史的文脈の統合が予測精度を顕著に向上させる—例として、アレッポがシリア紛争に関連することを特定し、ベースラインモデルが見逃す否定的センチメントを正しく識別した。
• 文脈統合メカニズムは、AoM や LLaVA-v1.5 といったベースラインモデルと比較して、難易度の高いサンプル（δ ≤ 0.3）における誤り率を低減しており、ロバストネスを示している。
• より大きなLVLMを用いることでパフォーマンスが向上し、学習データ量が25％にまで減少しても顕著な向上が得られるため、優れた一般化性とスケーラビリティを示している。
• 歴史的および政治的文脈的世界知識が、芸術的・文学的文脈よりも一貫して高い向上をもたらし、データセット全体で顕著に優位性を示した。
• 段階的文脈統合の結果、出来事の結果を追加することで否定的センチメント確率が18％上昇することが確認され、文脈の深さの価値が裏付けられた。