[論文レビュー] Contradiction Detection for Rumorous Claims

Piroska Lendvai, Uwe D. Reichel|arXiv (Cornell University)|Nov 8, 2016

Misinformation and Its Impacts参考文献 23被引用数 9

ひとこと要約

本稿では、Twitterにおけるウソ情報の矛盾を検出するための統合的3方向分類テキスト帰属関係（RTE）フレームワークを提案する。このフレームワークは、独立したツイートとスレッド形式の返信を区別する。単純な文字列および品詞レベルの類似度特徴を用い、主張の標的と会話構造を暗黙的にモデル化することで、スパースで偏ったデータにおいても、ランダムフォレストが最近傍重心法を上回る最先端の性能を達成する。

ABSTRACT

The utilization of social media material in journalistic workflows is increasing, demanding automated methods for the identification of mis- and disinformation. Since textual contradiction across social media posts can be a signal of rumorousness, we seek to model how claims in Twitter posts are being textually contradicted. We identify two different contexts in which contradiction emerges: its broader form can be observed across independently posted tweets and its more specific form in threaded conversations. We define how the two scenarios differ in terms of central elements of argumentation: claims and conversation structure. We design and evaluate models for the two scenarios uniformly as 3-way Recognizing Textual Entailment tasks in order to represent claims and conversation structure implicitly in a generic inference model, while previous studies used explicit or no representation of these properties. To address noisy text, our classifiers use simple similarity features derived from the string and part-of-speech level. Corpus statistics reveal distribution differences for these features in contradictory as opposed to non-contradictory tweet relations, and the classifiers yield state of the art performance.

研究の動機と目的

• ソーシャルメディア投稿における文章的矛盾を特定することで、ウソ情報の真偽性検出を向上させること。
• 独立したツイートとスレッド形式の返信という2つの異なる文脈において、それぞれ異なる構造的・意味的特性を持つ矛盾をモデル化すること。
• 主張と会話構造を明示的な議論的特徴なしに暗黙的に表現する、統合的かつ汎用的な推論フレームワークをRTEを用いて開発すること。
• 複雑な意味解析を避けて、表面的テキスト類似度のみを用いて、ノイズが多く短いユーザー生成コンテンツに対処すること。
• イベントホールドアウトおよびクラスバランス型の設定の両方で性能を評価し、多様なウソ情報シナリオにわたる耐性を確保すること。

提案手法

• 著者らは、矛盾検出を3方向分類RTEタスクとして定式化する。即ち、帰属（ENT）、矛盾（CON）、中立（UNK）の3クラスをツイートペア間で分類する。
• 主張ツイートと応答ツイート間の語彙的・構文的重複を捉えるために、文字列レベルおよび品詞（POS）レベルの類似度特徴を用いる。
• 局所的アラインメントを適用することで、語順の変化に対しても類似度を保持でき、言い換えや再構成されたコンテンツに対してより頑健になる。
• 本手法は2つの状況を区別する：iPosts（独立した投稿）とThreads（返信ベースの会話）。それぞれ、主張の標的の可視性や極性制約が異なる。
• 実際のTwitterデータを用いて、leave-one-event-out交差検証を実施し、ランダムフォレストおよび最近傍重心法の2つの教師あり分類器を訓練・評価する。
• クラス不均衡は、再結合なしのダウンサンプリングにより対処し、3つのRTEクラス全体でバランスの取れた性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 独立およびスレッド形式のソーシャルメディア投稿において、ウソ情報の矛盾検出をどのように一貫してモデル化できるか？
• RQ2 単純な表面的類似度特徴（文字列およびPOS）は、意味的または構文的アプローチに比べて、どの程度矛盾検出で優れているか？
• RQ3 主張の標的および会話構造を暗黙的な文脈として組み込むことで、RTEベースの矛盾検出性能がどの程度向上するか？
• RQ4 ノイズが多く短いテキストにおいて、矛盾の検出と非矛盾の検出の間には、どの程度の性能差が生じるか？
• RQ5 データがスパースかつクラス不均衡な状況下で、ランダムフォレストと最近傍重心法の各分類器の性能はどのようになるか？

主な発見

• ランダムフォレスト分類器は、Threadsデータセットで最先端の性能を達成し、重み付きF1スコアが0.43を記録。スパースで高次元の特徴ベクトルを扱える能力のおかげで、最近傍重心法を上回った。
• iPostsデータセットでは、最近傍重心法が重み付きF1スコア0.47を達成。より大きなデータ量と偏りの少ないデータ構造のおかげで、クラス重心の表現がより良好であった。
• すべての設定において、CONクラス（矛盾）が最も低い性能を示し、矛盾検出がRTEの3クラスの中で最も困難であることが示された。
• ENTおよびUNKクラスは特徴空間でより明確に分離されており、分類が容易であった。一方、CONクラスはENTおよびUNKの両者と著しく重複しており、分類が困難であった。
• 局所的アラインメントにより、言い換えや再構成されたコンテンツに対しても類似度の保持が向上し、特徴分布図におけるlaPropボックスプロットの高さが上昇したことが裏付けられた。
• 未観測イベントへの一般化は安定しており、ホールドアウトイベント評価においても性能が一貫していた。これは、現実世界のウソ情報検出において耐性があることを確認した。