[論文レビュー] Fully Automated Fact Checking Using External Sources

Georgi Karadzhov, Preslav Nakov+3 more|arXiv (Cornell University)|Oct 1, 2017

Topic Modeling被引用数 5

ひとこと要約

本稿では、外部Webリソースを活用して、深層学習とカーネルベース分類を用いて主張を検証する、軽量で完全に自動化された事実確認フレームワークを提示する。LSTMベースのテキスト符号化を用いて、検索スニペットおよび全文断片からの証拠と主張の表現を統合し、重い特徴工学を伴わずに、フェイクニュース検出およびコミュニティQAフォーラムにおける事実確認タスクの両方で優れた性能を達成する。

ABSTRACT

Given the constantly growing proliferation of false claims online in recent years, there has been also a growing research interest in automatically distinguishing false rumors from factually true claims. Here, we propose a general-purpose framework for fully-automatic fact checking using external sources, tapping the potential of the entire Web as a knowledge source to confirm or reject a claim. Our framework uses a deep neural network with LSTM text encoding to combine semantic kernels with task-specific embeddings that encode a claim together with pieces of potentially-relevant text fragments from the Web, taking the source reliability into account. The evaluation results show good performance on two different tasks and datasets: (i) rumor detection and (ii) fact checking of the answers to a question in community question answering forums.

研究の動機と目的

• キュレートされた知識ベースに依存せず、外部Webリソースに依存する汎用的で自動化された事実確認システムの開発。
• 主張と証拠のタスク固有の表現を学習するために、深層ニューラルネットワークを用いて特徴工学を最小限に抑えること。
• 本フレームワークを、フェイクニュース検出とコミュニティQAフォーラムにおける回答の事実確認という2つの異なるタスクに評価すること。
• これまであまり研究が進んでいなかった分野である、コミュニティQA（cQA）における事実性評価のための高品質な新規データセットの作成および公開。
• 最小限の仮定と学習データで、異なるドメインや主張タイプにわたるモデルの頑健性と汎用性を示すこと。

提案手法

• 時間的要因のようなタスク固有の特徴（例：時系列インジケータ）を避けるために、tf-idf重み付きキーワードを用いて、与えられた主張をクエリに変換する。
• 生成されたクエリを用いて、検索エンジン（Google/Bing）から関連ドキュメントを取得し、スニペットと全文からの重要な文に焦点を当てる。
• 双方向LSTMネットワークを用いて、主張、取得したスニペット、およびWebページからの関連テキスト断片の密な意味的表現を学習する。
• ドキュメントの信頼性に基づいて証拠を重み付けすることで、表現学習プロセスにソース信頼性を統合する。
• 学習された埋め込み表現とペairワイズ類似度特徴（例：主張と証拠間のコサイン類似度）を組み合わせ、タスク固有の表現を生成する。
• 組み合わせた特徴集合を用いて、RBFカーネルを用いたサポートベクターマシン（SVM）で主張をTrueまたはFalseに分類する。

実験結果

リサーチクエスチョン

• RQ1 キュレートされた知識ベースに依存せず、Web検索結果と深層学習のみを用いて、完全に自動化された事実確認システムが強力な性能を達成できるか。
• RQ2 LSTMとカーネルベース分類を用いたエンドツーエンド学習アプローチが、多様な事実確認タスクにわたって主張検証にどの程度効果的か。
• RQ3 最小限の特徴工学を伴う軽量モデルが、フェイクニュース検出やcQA事実確認といった異なるドメインにわたってどの程度一般化できるか。
• RQ4 証拠表現にソース信頼性を統合することで、分類性能にどのような影響が生じるか。
• RQ5 コミュニティQAにおける事実性のための新規高品質データセットが、事実確認モデルの学習および評価に効果的に利用可能か。

主な発見

• 提案されたフレームワークは、フェイクニュース検出およびcQA事実確認タスクの両方で優れた性能を達成し、異なるドメインへの汎用性を示している。
• Popatら（2017）と比較して、学習データ量が6分の1でも、性能対データ効率の観点で優れた結果を達成している。
• LSTMベースの意味的符号化とカーネルベースSVM分類の組み合わせにより、限られた学習データでもバランスの取れた正確な予測が可能である。
• スニペットのみを用いても良好な性能を達成していることから、実用的でスケーラブルな性能を示している。
• cQA事実性のための新規高品質データセットの作成と公開により、この分野における今後の研究のための貴重なベンチマークが提供された。
• 本アプローチは、マイクロブログにおける時系列モデリング（例：Maら、2015, 2016）とは直交しており、将来的なハイブリッドシステムにおいて統合の可能性を示唆している。