[論文レビュー] ImageArg: A Multi-modal Tweet Dataset for Image Persuasiveness Mining

Zhexiong Liu, Meiqi Guo+2 more|arXiv (Cornell University)|Sep 14, 2022

Misinformation and Its Impacts被引用数 11

ひとこと要約

本稿では、1,003件のツイートを画像の説得力、画像の内容、説得モード（エイソス、パスオス、ロゴス）についてアノテートしたマルチモーダルデータセットImageArgを紹介する。テキストベースの議論抽出を視覚的領域に拡張するため、新しいアノテーションスキームを考案し、マルチモーダルモデルのベンチマークを実施した。その結果、現在のモデルは特に画像内のテキスト要因の認識に苦労しており、専用の画像エンコーダーの開発が不可欠であることが示された。

ABSTRACT

The growing interest in developing corpora of persuasive texts has promoted applications in automated systems, e.g., debating and essay scoring systems; however, there is little prior work mining image persuasiveness from an argumentative perspective. To expand persuasiveness mining into a multi-modal realm, we present a multi-modal dataset, ImageArg, consisting of annotations of image persuasiveness in tweets. The annotations are based on a persuasion taxonomy we developed to explore image functionalities and the means of persuasion. We benchmark image persuasiveness tasks on ImageArg using widely-used multi-modal learning methods. The experimental results show that our dataset offers a useful resource for this rich and challenging topic, and there is ample room for modeling improvement.

研究の動機と目的

• 議論抽出分野における画像の説得力に関する研究の不足を補うために、ソーシャルメディアにおける視覚的説得に焦点を当てたマルチモーダルデータセットの構築を目的とする。
• エッセイ向けに開発されたテキストベースの議論アノテーションスキームを、ツイートにおける画像コンテンツと説得モードを含める形に視覚的領域へ拡張することを目的とする。
• ステークス検出、画像の説得力分類、画像コンテンツ分類、説得モード検出の4つの主要タスクに関して、マルチモーダル学習モデルのベンチマークを確立することを目的とする。
• 画像モダリティが説得的効果に与える影響を調査し、視覚的説得をモデル化する際の主な課題を同定することを目的とする。
• テキスト入力に基づいて説得力のある画像を推薦するインテリジェントなツールの今後の開発を可能にするための基盤を提供することを目的とする。

提案手法

• ツイートにおける画像の機能とモード（エイソス、パスオス、ロゴス）をアノテートするための新しい説得分類法を考案し、テキストベースの議論抽出スキームを視覚的領域に拡張した。
• 1,003件の銃規制に関するツイートを、画像の説得力スコア、画像コンテンツ（6クラス）、説得モードについて人間レーティング者によるアノテーションを実施し、アノテータ間一貫性分析を実施した。
• BERTやResNetなどのテキストおよび画像エンコーダーを組み合わせたマルチモーダル学習フレームワークを提案し、ステークス、説得力、コンテンツ、説得モードの分類を実施した。
• テキストおよび視覚的表現を統合するためのマルチモーダル統合戦略（例：連結またはアテンションベースの統合）を用いて、下流分類タスクに応用した。
• 5分割交差検証を用い、AUCおよびF1スコアを指標にモデル性能を評価し、異なるモダリティの組み合わせ（T-M、I-M、M-M）に対するアブレーションスタディを実施した。
• 定量的分析として、訓練済みマルチモーダルモデルを用いて、特定のテキストに対して最も説得力のある画像と最も説得力のない画像を抽出し、OCRおよび視覚的象徴理解の限界を明らかにした。

実験結果

リサーチクエスチョン

• RQ1 画像の追加がツイートの議論の説得力に与える影響は何か。また、新しいアノテーションスキームを用いて、その影響を定量的に測定可能か？
• RQ2 統計、スローガン、物体などの異なる画像コンテンツタイプ（例）が、エイソス、パスオス、ロゴスなどの特定の説得モードとどの程度相関しているか？
• RQ3 マルチモーダルモデルは、テキストのみまたは画像のみのベースラインと比較して、画像の説得力分類においてどの程度の性能を示すか？
• RQ4 現在のマルチモーダルモデルにおける、画像エンコーダーの能力に関する主なボトルネックは何か、特に画像の説得力分類において？
• RQ5 訓練済みモデルは、特定のツイートテキストに対して、最も説得力のある画像を効果的に検索できるか。また、どのようなタイプの画像が最も多く選択されるか？

主な発見

• 画像のみのモデル（I-M）は、テキストのみ（T-M）やマルチモーダル（M-M）モデルと比較して、大多数のタスクで性能が低く、一般的な画像エンコーダー（例：ImageNetで事前学習されたもの）では議論的画像の理解に不十分であることが示された。
• T-Mモデルはステークス検出において最高のAUCを達成した。これは、画像コンテンツがこのタスクにおいてノイズを引き起こすか、冗長である可能性を示唆している。
• M-Mモデルはロゴスタスクにおいて最高のAUCを達成した。これは、マルチモーダル統合が統計的チャートを含む視覚的データから効果的に学習できることを示している。
• I-MモデルはパスオスタスクにおいてT-Mを上回った。これは、視覚的感情的サイン（例：顔の表情、状況描写）が、テキストのみのモデルに比べて、視覚エンコーダーによってより効果的に捉えられていることを示している。
• T-Mモデルはエイソスタスクで最高のパフォーランスを示した。これは、画像エンコーダーがスローガンや証言といったテキスト的要素を正しく認識できないことが、エイソス説得において重要な要因であることを示している。
• 定量的分析から、モデルは特定の物体（例：銃）を含む画像を、テキスト的コンテンツ（例：スローガン）を含む画像よりも効果的に検索していることが明らかになった。これは、OCR統合型または象徴認識に特化した画像エンコーダーの開発が不可欠であることを示唆している。