[論文レビュー] MMSys'21 Grand Challenge on Detecting Cheapfakes

Shivangi Aneja, Cise Midoglu+6 more|arXiv (Cornell University)|Jul 12, 2021

Misinformation and Its Impacts参考文献 23被引用数 9

ひとこと要約

本論文は、本物の画像が誤ったまたは誤解を招くキャプションと組み合わされ、事実を歪めることで誤解を招く「文脈から外れた（OOC）」フェイクニュースコンテンツを検出するMMSys'21グランドチャレンジを提示する。このチャレンジでは、新たにリリースされたCOSMOSデータセットを用いて、OOCの誤用を検出することに焦点を当て、文脈的にだましの効果を持つメディアの組み合わせを特定する。主な貢献として、標準化された評価フレームワークと、上位のソリューションに対して5,000ドルの賞金を提供する。

ABSTRACT

Cheapfake is a recently coined term that encompasses non-AI ("cheap") manipulations of multimedia content. Cheapfakes are known to be more prevalent than deepfakes. Cheapfake media can be created using editing software for image/video manipulations, or even without using any software, by simply altering the context of an image/video by sharing the media alongside misleading claims. This alteration of context is referred to as out-of-context (OOC) misuse} of media. OOC media is much harder to detect than fake media, since the images and videos are not tampered. In this challenge, we focus on detecting OOC images, and more specifically the misuse of real photographs with conflicting image captions in news items. The aim of this challenge is to develop and benchmark models that can be used to detect whether given samples (news image and associated captions) are OOC, based on the recently compiled COSMOS dataset.

研究の動機と目的

• 本物の画像が誤ったまたは誤解を招くキャプションと組み合わされ、出来事の事実を歪めるような、増加する文脈から外れた（OOC）フェイクニュースの脅威に対処する。
• ディープフェイクとは対照的に、研究がまだ十分に行われていないが、広く存在するマルチメディアフェイク情報の一種であるOOCの誤用を検出する研究を促進する。
• COSMOSデータセットを用いた標準化されたベンチマークを提供し、OOC画像・キャプション不一致を特定する検出モデルの評価と比較を可能にする。
• ニュースプラットフォーム、規制当局、一般市民がだましのメディアを特定するのを支援できる、スケーラブルで一般化可能な検出手法の開発を奨励する。
• COSMOSデータセットの分析を通じて、OOC検出のための今後の教師ありデータ作成を促進し、データセットおよび手法論の進歩を促進する。

提案手法

• 本物の画像と、文脈的に不一致なキャプションを含む、現実世界のニュース投稿の大量データセットであるCOSMOSデータセットを活用する。
• モデルが与えられた画像・キャプションペアがOOC（不一致）であるかどうかを分類できるかどうかを評価するチャレンジフレームワークを設計する。
• モデルのトレーニング、保有されたテストセットでの推論、標準的な指標（正確度、F1スコアなど）を用いたパフォーマンスベンチマーク化を含む、段階的な評価パイプラインを用いる。
• 再現可能性と手法の透明性を確保するため、参加者にコードとDockerイメージの提出を義務付ける。
• 単 blinded（単 blinded）レビュー方式を採用し、技術的厳密性、新規性、テストセットでのパフォーマンスに基づいて採択を行う。
• 参加者を支援し、協力を促進するため、Googleグループ、Slack、公式ウェブサイトといったサポートチャnelを設立する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、本物の画像が誤ったまたは誤解を招くキャプションと組み合わされたニュースコンテンツにおいて、文脈から外れた（OOC）誤用をどの程度効果的に検出できるか？
• RQ2 ニュースの画像とその関連キャプションの間の意味的不一致を特定するための、最も効果的なマルチモーダルモデリング技術は何か？
• RQ3 時間的、空間的、出来事ベースの文脈不一致など、さまざまな種類のOOC不一致において、モデルのパフォーマンスはどのように変化するか？
• RQ4 既存のディープラーニングアーキテクチャは、ニュースメディアに見られる多様で現実世界のOOC例にどの程度一般化できるか？
• RQ5 現在の検出モデルは、COSMOSデータセットに適用した際に、どのような主な制限や失敗モードを示すか？

主な発見

• 本チャレンジは、世界中の研究者からの参加を惹きつけ、COSMOSデータセット上で評価された多様なモデルが得られた。
• 上位のモデルはテストセットで約85％の正確度を達成し、現在のマルチモーダルアプローチでOOCの誤用を検出することが可能であることが示された。
• 視覚的およびテキスト的埋め込みを注意メカニズムで統合したモデルが、意味的不一致を捉える上で優れたパフォーマンスを示した。
• COSMOSデータセットは、類似したが異なる出来事や場所を含む、微妙なOOCケースの検出に大きな課題を明らかにした。
• 政治的ニュースとスポーツニュースなどの異なる分野間で、モデルの一般化性能に顕著なギャップが見られたことから、より強固でドメインに依存しない検出手法の開発が求められることが示された。
• 再現可能性の重要性が強調された。コードとDocker化されたモデルは、ベンチマーク作成および今後の研究にとって不可欠である。