[論文レビュー] Edited Media Understanding Frames: Reasoning About the Intent and Implications of Visual Misinformation

Jeff Da, Maxwell Forbes+5 more|arXiv (Cornell University)|Dec 8, 2020

Multimodal Machine Learning Applications参考文献 40被引用数 4

ひとこと要約

本稿では、画像編集の意図と影響を自由な自然言語による質問を通じて推論することを要請する、視覚言語タスク「Edited Media Understanding (EMU)」を紹介する。著者らは大規模なデータセット（48,000組のQAペア）を構築し、キービジネス領域を優先し、構造的推論を行うマルチモーダルモデルPELICANを提案した。人間アノテーターによる正解率は40.35%に達し、有望な出発点ではあるが、依然として大きな性能ギャップが存在する。

ABSTRACT

Multimodal disinformation, from 'deepfakes' to simple edits that deceive, is an important societal problem. Yet at the same time, the vast majority of media edits are harmless -- such as a filtered vacation photo. The difference between this example, and harmful edits that spread disinformation, is one of intent. Recognizing and describing this intent is a major challenge for today's AI systems. We present the task of Edited Media Understanding, requiring models to answer open-ended questions that capture the intent and implications of an image edit. We introduce a dataset for our task, EMU, with 48k question-answer pairs written in rich natural language. We evaluate a wide variety of vision-and-language models for our task, and introduce a new model PELICAN, which builds upon recent progress in pretrained multimodal representations. Our model obtains promising results on our dataset, with humans rating its answers as accurate 40.35% of the time. At the same time, there is still much work to be done -- humans prefer human-annotated captions 93.56% of the time -- and we provide analysis that highlights areas for further progress.

研究の動機と目的

• 画像改ざんの背後にある有害な意図を、単なる偽造検出を越えて検出できるAIシステムの能力に欠如しているという重要なギャップを埋めるため。
• ピクセルレベルの分析を越えて、画像編集の洗練された意図と社会的影響を捉えるタスクを開発するため。
• 豊富な自由な質問・回答アノテーションを備えた、編集済み画像ペアの自然言語ベースの大規模データセットを構築するため。
• 共参照、視覚的グランドイング、編集の意味的影響を推論するマルチモーダルモデルを設計するため。
• 人間評価とアブレーションスタディを用いて、視覚的誤情報理解の進捗をベンチマーク化するため。

提案手法

• 画像編集理解を、元画像と編集済み画像のペアに対して自由な質問に対する回答として定式化し、分類と根拠の生成の両方を要請する。
• 共通の元画像上で多様で意味的に意味のある編集を実現するため、Photoshopバトル画像を用いて新しいデータセットEMUを構築した。
• 画像領域の有向グラフを用いて、被写体と対象間の関係をモデル化する視覚言語モデルPELICANを導入した。
• 画像領域のトポロジカルソートと、アノテート済み被写体からの特徴の優先処理により、共参照と意図に関する推論を向上させた。
• Conceptual Captionsで事前学習し、EMUで微調整した。アブレーションスタディにより、事前学習、アノテート済み特徴、グラフ構造の寄与を分離した。
• 自動指標（BLEU、パープレキシティ）と人間評価を用いて評価し、標準的なVLPモデルを含む強力なベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 視覚言語モデルは、編集がだましや欺瞞的であるかどうかといった、画像編集の意図を正確に推論できるか？
• RQ2 編集の影響、たとえば被写体間の社会的関係や感情的トーンの変化について、モデルはどの程度推論できるか？
• RQ3 特定の画像領域（例：subject1, subject2）にモデル出力をグランドイングすることで、推論の質が向上し、曖昧さが減少するか？
• RQ4 有向グラフによる画像領域の使用や、元画像の特徴を含めることといった、アーキテクチャ的選択が、編集済み画像理解のパフォーマンスに与える影響はどの程度か？
• RQ5 画像改ざんの意図を解釈するという点で、最先端モデルと人間レベルの理解との間には、どの程度のパフォーマンスギャップが存在するか？

主な発見

• PELICANはEMUデータセットで人間が評価した正解率40.35%を達成し、ベースラインモデルを顕著に上回った。
• 人間アノテーターは、93.56%の割合で人間が生成した回答をモデル出力よりも好むことが示され、モデル性能に大きなギャップが残っていることが浮き彫りになった。
• アブレーションスタディの結果、事前学習とアノテート済み画像特徴がパフォーマンスに有意に寄与しており、事前学習により正解率が1.93%向上した。
• 元画像を除外しても正解率に0.05%の低下しか及たないため、実世界の状況では編集済み画像のみでPELICANが効果的に機能することが示唆された。
• 表面的な理解（例：画像に銃が存在するかの検出）については優れたパフォーマンスを示したが、社会的・文脈的な解釈の洗練された理解には苦戦した。
• パープレキシティは0.86低下し、BLEUスコアもベースラインを上回った。これにより、PELICANの生成品質と推論能力が裏付けられた。