[論文レビュー] FAKTA: An Automatic End-to-End Fact Checking System

Moin Nadeem, Wei Fang+3 more|arXiv (Cornell University)|Jun 7, 2019

Topic Modeling参考文献 28被引用数 4

ひとこと要約

FAKTA は、文書検索、情報源の信頼性評価、スタンス検出、言語的分析を統合したエンドツーエンドの事実確認システムであり、主張の事実性を予測し、文書レベルおよび文レベルの証拠を提供する。Googleベースの検索と二値スタンス分類設定を用いて、FEVERデータセットで59.35%のF1（マクロ）を達成した。

ABSTRACT

We present FAKTA which is a unified framework that integrates various components of a fact checking process: document retrieval from media sources with various types of reliability, stance detection of documents with respect to given claims, evidence extraction, and linguistic analysis. FAKTA predicts the factuality of given claims and provides evidence at the document and sentence level to explain its predictions

研究の動機と目的

• 複数のメディアソースにわたるフェイクニュースの増加に伴う課題に対処するため、事実確認プロセスを自動化すること。
• 検索、信頼性評価、スタンス検出、証拠集約といった、事実確認の異なる要素を統合し、単一のエンドツーエンドフレームワークとして統合すること。
• 最終的な判断に至る根拠として関連する文書と文レベルの根拠を強調することで、解釈可能な予測を提供すること。
• 主張と文書の意味的特徴に加えて、情報源の信頼性と言語的特徴を組み込むことで、事実確認のパフォーマンスを向上させること。

提案手法

• Wikipediaと主流メディアの信頼性の3段階（高、中、低）から、固有名と品詞タグ（NN, NNS, NNP, NNPS, JJ, CD）を用いたクエリ拡張により関連文書を検索する。
• 最初のLuceneまたはGoogle APIスコアを重み付けにし、主張と文書（タイトルおよび本文）間の高解離性品詞タグの重複に基づく再順序付けモデルを採用する。
• Bag of Wordsと畳み込みニューラルネットワークを組み合わせた二段階のディープラーニングモデルを用いてスタンス検出（賛成、反対、議論）を実施し、敵対的ドメイン適応を強化する。
• 複数の語彙集を用いて、取得した文書のスタイル的および意味的特徴を評価する言語的分析を実施する。
• すべての取得済み文書におけるスタンス予測を重み付き投票機構で集約し、最終的な主張の事実性（支持、反論、証拠なし）を決定する。
• Media Bias/Fact Check（MBFC）のアノテーションから得られる情報源の信頼性スコアを統合し、文書の関連性と最終的判断への影響を重みづけする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのシステムは、文書検索、スタンス検出、証拠集約を統合し、解釈可能な根拠を提示しながら、主張の事実性を効果的に予測できるか？
• RQ2 信頼性（高、混合、低）を組み込むことで、自動事実確認システムのパフォーマンスと耐障害性にどのような影響を与えるか？
• RQ3 FEVERのようなベンチマークデータセットにおいて、統合されたフレームワークは、個別のコンponentsを別々に処理するパイプラインを上回る性能を発揮できるか？
• RQ4 品詞タグ付きキーワードと再順序付けモデルを用いることで、事実確認の主張に対する検索精度がどの程度向上するか？
• RQ5 ラベル付きデータが限られる状況において、敵対的ドメイン適応はスタンス検出のパフォーマンスを向上させられるか？

主な発見

• Google APIを用いた検索と二値スタンス分類（支持／反論）設定において、FAKTAはFEVERベンチマークで59.35%のF1（マクロ）スコアを達成し、ベースラインのMLPモデルを上回った。
• Googleベースの検索と三値スタンス設定（支持、反論、証拠なし）を用いた場合、41.21%の正確性と39.65%のF1（マクロ）を達成し、複雑な主張に対しても高い性能を示した。
• Google APIを用いた文書検索は、Luceneよりも顕著に優れた結果をもたらし、三値設定においてF1（マクロ）が2.5%高く、正確性も2.47%高い。
• ラベル空間を二クラス（支持／反論）に絞ることで、パフォーマンスが著しく向上し、同じ検索設定下でF1（マクロ）が39.65%から59.35%に上昇した。
• MBFCからの信頼性スコアの統合により、信頼できる証拠を優先する能力が向上し、予測の解釈可能性と耐障害性が向上した。
• モデルが生成する文レベルのスタンス根拠は意味的に意味のある説明を提供し、文書ビューで強調された文が主張との整合性または不一致を明確に示していた。