[論文レビュー] NewsCLIPpings: Automatic Generation of Out-of-Context Multimodal Media

Grace Luo, Trevor Darrell+1 more|arXiv (Cornell University)|Apr 13, 2021

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、本物のニュースコンテンツから自動生成された現実的で文脈のない画像・キャプションペアから成る大規模なデータセット、NewsCLIPpingsを紹介する。CLIP、SBERT-WK、Places365の埋め込みを活用することで、人間や最先端のモデルを欺く、困難なマルチモーダルな不一致を生成し、誤情報拡散のための自動的画像再利用の可能性と危険性を示している。

ABSTRACT

Online misinformation is a prevalent societal issue, with adversaries relying on tools ranging from cheap fakes to sophisticated deep fakes. We are motivated by the threat scenario where an image is used out of context to support a certain narrative. While some prior datasets for detecting image-text inconsistency generate samples via text manipulation, we propose a dataset where both image and text are unmanipulated but mismatched. We introduce several strategies for automatically retrieving convincing images for a given caption, capturing cases with inconsistent entities or semantic context. Our large-scale automatically generated NewsCLIPpings Dataset: (1) demonstrates that machine-driven image repurposing is now a realistic threat, and (2) provides samples that represent challenging instances of mismatch between text and image in news that are able to mislead humans. We benchmark several state-of-the-art multimodal models on our dataset and analyze their performance across different pretraining domains and visual backbones.

研究の動機と目的

• 本物の画像が事実とは無関係な物語を支持するために誤用されるという、誤情報における画像再利用の脅威を軽減すること。
• 従来のデータセットがテキストの操作に依存しており、単一モodalなモデルが検出可能な言語的手がかりを含むという限界を克服すること。
• 本物で改ざんのないテキストと画像のみを用いて、困難で現実的な画像・キャプションの不一致を生成する手法を開発すること。
• 単一モダリティのバイアスを排除することで、連携されたマルチモーダル分析を強制するベンチマークデータセットを作成すること。
• 最先端のマルチモーダルモデルがこのような不一致を検出する性能を評価し、事前学習ドメインと視覚的バックボーンの影響を分析すること。

提案手法

• CLIP、SBERT-WK、Places365からのResNet-50特徴量を用いて、キャプションと画像間の意味的・視覚的類似度を計算する。
• 4つの脅威シナリオを生成する：(a) キャプションと画像の類似度、(b) エンティティが非重複なキャプション同士の類似度、(c) 人物が一致するが文脈が異なるケース、(d) 景色が一致するが出来事の文脈が異なるケース。
• CLIPに基づく敵対的フィルタリングを適用し、容易に検出可能なペアを除外することで、本物と偽物の区別を難しくする。
• VisualNewsコーパスからNewsCLIPpingsデータセットを構築し、著作権および使用権を保持する。
• 検索ベースのマッチングを用いて、意味的に類似しているが文脈的に不一致な本物の画像と本物のキャプションをペアリングする。
• 人間による評価を実施し、生成された偽物ペアの現実性と難易度を検証する。

実験結果

リサーチクエスチョン

• RQ1 本物の画像とキャプションを用いた機械駆動の自動的画像再利用によって、人間が説得されるような、現実的で文脈のないニュースペアを生成できるか？
• RQ2 最先端のマルチモーダルモデルは、本物のペアと比較して、このような自動生成された不一致をどれほど効果的に検出できるか？
• RQ3 異なる事前学習ドメインと視覚的バックボーンは、マルチモーダルモデルの画像・キャプション不一致検出性能にどのような影響を与えるか？
• RQ4 人間のアノテーターは、このデータセットにおいて本物と偽物の画像・キャプションペアをどれほど困難に識別できるか？
• RQ5 成功したモデルは、このような敵対的例の不一致を検出するために、どのような視覚的・言語的手がかりを学習しているか？

主な発見

• NewsCLIPpingsデータセットは、人間による評価で確認されたように、現実的で困難な文脈のない画像・キャプションペアを効果的に生成しており、人間を欺くことに成功している。
• 最先端のマルチモーダルモデルは、このデータセットで最適でない性能を示しており、自動的画像再利用が重大かつ軽視されがちな脅威であることが示唆されている。
• 多様なドメインで事前学習され、強力な視覚的バックボーンを備えたモデルは、改善されたが依然として限定的な性能を示しており、より強固なマルチモーダル推論の必要性が浮き彫りになっている。
• CLIPに基づく敵対的フィルタリングは、容易に識別可能な不一致を除外することで、検出タスクの難易度を顕著に向上させた。
• 定性的な分析から、モデルは不一致を検出するために、オブジェクトの文脈や空間的関係といった微細な視覚的注目度の手がかりに依存していることがわかった。
• CLIPおよびSBERT-WKの使用を含むデータセット構築プロセスには、人種、性別、シーンラベルに関する潜在的なバイアスが生じる可能性があるが、これらは認識され、部分的に是正されている。