[論文レビュー] End-to-End Multimodal Fact-Checking and Explanation Generation: A Challenging Dataset and Models

Barry Menglong Yao, Aditya Shah+3 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 8

ひとこと要約

この論文では、15,601件の主張と人間による真偽ラベルおよび判断文、ならびに33,880件のテキストおよび12,112枚の画像証拠を含む、エンドツーエンドのマルチモーダル事実確認と説明生成のための大規模ベンチマークデータセットMochegを紹介する。本研究では、マルチモーダル証拠検索、主張検証、説明生成のためのベースラインモデルを確立し、現在の最先端手法に顕著な性能格差が存在することが明らかになった。

ABSTRACT

We propose end-to-end multimodal fact-checking and explanation generation, where the input is a claim and a large collection of web sources, including articles, images, videos, and tweets, and the goal is to assess the truthfulness of the claim by retrieving relevant evidence and predicting a truthfulness label (e.g., support, refute or not enough information), and to generate a statement to summarize and explain the reasoning and ruling process. To support this research, we construct Mocheg, a large-scale dataset consisting of 15,601 claims where each claim is annotated with a truthfulness label and a ruling statement, and 33,880 textual paragraphs and 12,112 images in total as evidence. To establish baseline performances on Mocheg, we experiment with several state-of-the-art neural architectures on the three pipelined subtasks: multimodal evidence retrieval, claim verification, and explanation generation, and demonstrate that the performance of the state-of-the-art end-to-end multimodal fact-checking does not provide satisfactory outcomes. To the best of our knowledge, we are the first to build the benchmark dataset and solutions for end-to-end multimodal fact-checking and explanation generation. The dataset, source code and model checkpoints are available at https://github.com/VT-NLP/Mocheg.

研究の動機と目的

• 既存の事実確認データセットがマルチモーダル証拠、人間によるラベル、説明可能性を欠いているという限界を是正すること。
• マルチモーダル証拠検索、主張検証、説明生成を統合的に行うエンドツーエンドフレームワークを構築すること。
• テキスト、画像、ツイートを含む多様なウェブソースを反映した、現実の誤情報検出課題を再現する現実的で信頼できるベンチマークを構築すること。
• 現在の最先端モデルがマルチモーダル事実確認と説明の全パイプラインを処理する能力に不足していることを実証すること。
• 説明可能でマルチモーダルかつオープンドメインの事実確認システム分野における今後の研究の基盤を提供すること。

提案手法

• 著者らは、SnopesおよびPolitifactから抽出された15,601件の主張から成るデータセットMochegを構築し、それぞれに真偽ラベル（支持／反証／なし）と人間が作成した判断文が付与された。
• テキストパラグラフ33,880件と画像12,112枚の証拠を、ウェブソースから収集し、マルチモーダルの多様性と現実世界の関連性を確保した。
• フレームワークは3つのサブタスクを統合している：主張と異種証拠間のクロスアテンションを用いたマルチモーダル証拠検索、微調整されたトランスフォーマーモデルを用いた主張検証、およびシーケンス・トゥ・シーケンスモデルを用いた説明生成。
• BERT、ViT、T5などの最先端アーキテクチャを用いて、3つのパイプラインタスクにおけるベースラインモデルを訓練・評価した。
• システムはエンドツーエンド学習をサポートするように設計されており、検索、検証、説明生成の各タスクで共同最適化が可能である。
• データセットはCC BY 4.0の下で公開され、再現性および今後の研究を目的としてGitHubでコードとモデルチェックポイントを提供している。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端モデルは、テキストおよび視覚的証拠を併用したエンドツーエンドのマルチモーダル事実確認において満足のいく性能を達成できるか？
• RQ2 現在のモデルは、一貫性があり、事実に基づき、論理的に構成された説明をどれほど効果的に生成できるか？
• RQ3 テキストのみのアプローチと比較して、マルチモーダル証拠（テキストおよび画像）は事実確認性能をどの程度向上させるか？
• RQ4 説明生成における主な失敗モードは何か、特に証拠を意味的に整合した一連の推論構造に整列させることに失敗する点は？
• RQ5 自動生成されたラベルおよび証拠と人間によるラベルおよび証拠とを比較した場合、一貫性と信頼性の点でどちらが優れているか？

主な発見

• 最先端モデルのマルチモーダル証拠検索、主張検証、説明生成の3つのサブタスクにおける性能は、依然として許容できる水準に遠く及ばず、大幅な改善の余地があることが示された。
• ベースラインモデルは説明生成において論理的な一貫性に欠け、証拠文を意味的で段階的な推論構造に整列させることができないことが多かった。
• 視覚的証拠の統合により事実確認性能が向上したが、現在のモデルは画像からの補完的情報を十分に活用できていない。
• 説明生成モデルはしばしば推論プロセスと一致せず、一般的すぎるか、証拠から乖離した記述を生成する傾向にあった。
• データセットは、政策のすれ違いや財務開示など、複雑または曖昧な証拠を含む主張が、自動化システムにとって特に困難であることを明らかにした。
• 本研究は、過去のデータセットにおける自動生成ラベルおよび証拠が、人間によるラベルおよび証拠よりも信頼性が低いことが確認されたことから、Mochegのような高品質なベンチマークの必要性を裏付けた。