[論文レビュー] Neural Network Architecture for Credibility Assessment of Textual Claims

Nurendra Choudhary, Rajat Singh+2 more|arXiv (Cornell University)|Mar 28, 2018

Misinformation and Its ImpactsSocial Sciences被引用数 18

ひとこと要約

本稿では、双方向LSTMとシアンスネットワークを用いた意味的類似度、ソースおよび著者信頼性、感情分析を統合することで、テクスト的主張の信頼性を評価するニューラルネットワークアーキテクチャであるCREDOを提案する。Snopesデータセットにおいて、CREDOは最先端の手法を上回り、意味的類似度モジュールが最も寄与しており、除外された場合に32.7%の性能低下を示した。

ABSTRACT

Text articles with false claims, especially news, have recently become aggravating for the Internet users. These articles are in wide circulation and readers face difficulty discerning fact from fiction. Previous work on credibility assessment has focused on factual analysis and linguistic features. The task's main challenge is the distinction between the features of true and false articles. In this paper, we propose a novel approach called Credibility Outcome (CREDO) which aims at scoring the credibility of an article in an open domain setting. CREDO consists of different modules for capturing various features responsible for the credibility of an article. These features includes credibility of the article's source and author, semantic similarity between the article and related credible articles retrieved from a knowledge base, and sentiments conveyed by the article. A neural network architecture learns the contribution of each of these modules to the overall credibility of an article. Experiments on Snopes dataset reveals that CREDO outperforms the state-of-the-art approaches based on linguistic features.

研究の動機と目的

• ニュースやオンラインコンテンツにおける誤情報の増加に伴う課題に対処するため、信頼性評価の自動化システムを開発すること。
• 言語的特徴に依存する既存のアプローチを改善するため、外部知識とマルチソース信頼性信号を統合すること。
• 多様な信頼性指標を統合して統一された信頼性スコアを生成するモジュラ型ニューラルネットワークアーキテクチャを設計すること。
• 各モジュール（意味的類似度、感情、著者／ソース信頼性）が全体の信頼性に与える寄与度を評価すること。

提案手法

• 知識ベース（例：Wikipedia、ニュースサイトなど）から関連ドキュメントを検索するためのクエリ生成のためのキーワード抽出を実施する。
• 双方向LSTMとシアンスネットワークアーキテクチャを用いて、入力記事と信頼できるドキュメント間の意味的類似度を学習する。
• 著者信頼スコア（ACS）とウェブサイト信頼スコア（WTS）を特徴量として統合し、ソース信頼性を評価する。
• 事前学習済みの感情分析ツールを用いて、記事のニュートラルさを評価する。事実に基づいた内容は一般的に中立的であるとされる。
• すべてのモジュール出力を統合し、最終的な信頼性スコアを予測するための統合ニューラルネットワーク分類器（SVM-RBFまたはMLP-NN）を構築する。
• Snopesデータセットを用い、5分割交差検証で学習および評価を行い、正答率、F1スコア、ピアソン相関係数を指標に性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 外部知識ベースとの意味的類似度統合が、言語的特徴のみに依存するモデルと比較して、信頼性評価にどのように寄与するか。
• RQ2 各モジュール（意味的類似度、感情、著者／ソース信頼性）が全体の信頼性予測に果たす相対的寄与度は何か。
• RQ3 異種の信頼性信号を効果的に統合し、強固で一般化可能なモデルを構築するためのニューラルネットワークアーキテクチャは、実際に有効であるか。
• RQ4 異なる分類器（例：SVM-RBF、MLP-NN）は、この特徴セットを用いた信頼性分類タスクでどのように性能を発揮するか。

主な発見

• CREDOは、Snopesデータセットにおいて、すべての評価指標で最先端の手法を上回り、オープンドメインの信頼性評価において優れた一般化性能を示した。
• 意味的類似度モジュールを除外した場合、正答率が32.7%低下したため、システムにおいて最も重要なモジュールであると特定された。
• 感情分析モジュールは正答率に7.1%の向上をもたらしたが、意味的類似度と比較すると、明確に二次的役割を果たしていることが示された。
• 著者信頼スコア（ACS）とウェブサイト信頼スコア（WTS）はそれぞれわずか1%程度の正答率向上をもたらしたが、独立した影響は限定的であると示された。
• RBFカーネルを用いたSVMとマルチレイヤーパーセプトロン（MLP-NN）分類器が最高の性能を発揮した。これは、このタスクにおいて非線形の意思決定境界が不可欠であることを示唆している。
• 意味的類似度モジュールは、SemEval-STS 2016ベンチマークでも優れた性能を示し、記事間の意味的関連性を測定する有効性を裏付けた。