[論文レビュー] Veracity Computing from Lexical Cues and Perceived Certainty Trends

Uwe D. Reichel, Piroska Lendvai|arXiv (Cornell University)|Nov 8, 2016

Misinformation and Its Impacts参考文献 24被引用数 4

ひとこと要約

本稿では、語彙的手がかりと予測された確実性の傾向を用いて、ソーシャルメディアのフェイクニュースの真偽をデータ駆動で計算する手法を提案する。語彙的手がかりの比率と確実性の時系列パターンを統合し、フェイクニュースを解消するツイートを特定し、解決の真偽値を予測する。外部リソースを一切使用せずに、解決の検出で0.74のF1スコア、真偽値予測で0.76のF1スコアを達成した。

ABSTRACT

We present a data-driven method for determining the veracity of a set of rumorous claims on social media data. Tweets from different sources pertaining to a rumor are processed on three levels: first, factuality values are assigned to each tweet based on four textual cue categories relevant for our journalism use case; these amalgamate speaker support in terms of polarity and commitment in terms of certainty and speculation. Next, the proportions of these lexical cues are utilized as predictors for tweet certainty in a generalized linear regression model. Subsequently, lexical cue proportions, predicted certainty, as well as their time course characteristics are used to compute veracity for each rumor in terms of the identity of the rumor-resolving tweet and its binary resolution value judgment. The system operates without access to extralinguistic resources. Evaluated on the data portion for which hand-labeled examples were available, it achieves .74 F1-score on identifying rumor resolving tweets and .76 F1-score on predicting if a rumor is resolved as true or false.

研究の動機と目的

• テキスト的特徴と時間的ダイナミクスのみを用いて、ソーシャルメディアにおけるフェイクニュースの真偽を自動的に特定すること。
• 言語的および時間的特徴に基づき、フェイクニューススレッド内のどのツイートが主張を解消するかを特定すること。
• テキスト内および時刻に固定された特徴のみを用いて、フェイクニュースが最終的に真か偽かに解決されるかを予測すること。
• 外部メタデータやソースプロファイルに依存せずに、語彙的手がかりから発話者の確実性をモデル化すること。
• 語彙的手がかりの比率と確実性の時間的シフトが、主張の解消検出に与える影響を評価すること。

提案手法

• 知識、報告、信念、懐疑の4つの語彙的手がかりカテゴリを用い、極性とコミットメントに基づいてツイートに事実性値を割り当てる。
• 一般化線形モデル（GLMs）を用いて、これらの語彙的手がかりの比率からツイートの確実性を予測し、個々の手がかりの相関が弱い問題に対処する。
• 時系列解析により、手がかりの比率と予測された確実性における不連続性（例：リセット、変化量）を特定し、解消ポイントを検出する。
• 手がかり比率（CueSet）と予測された確実性（CertSet）を組み合わせた特徴セットを、AdaBoostM1分類器の入力として使用する。
• クラスの不均衡を扱うために、再サンプリングを伴う10分割交差検証を適用する。
• システムは外部言語的データにアクセスせず、テキスト的および時間的パターンのみに依存して動作する。

実験結果

リサーチクエスチョン

• RQ1 語彙的手がかりの比率と予測された確実性レベルは、フェイクニュースを解消するツイートを信頼性高く特定できるか？
• RQ2 検証済みと偽物の主張における、手がかり比率と確実性値の時間的トレンドにはどのような違いがあるか？
• RQ3 手がかり比率と確実性スコアの不連続性が、主張の解消を示す程度はどの程度か？
• RQ4 予測された確実性を組み込むことで、原始的な手がかり比率に比べ、解消値予測の性能が向上するか？
• RQ5 信念と懐疑の手がかりは、フェイクニュースの最終的な解消結果とどのように関連するか？

主な発見

• 語彙的手がかり比率（CueSet）を用いて、正しく解消するツイートを特定する際、0.74のF1スコアを達成した。
• 予測された確実性値（CertSet）を用いて、フェイクニュースが真か偽かを予測する際、0.76のF1スコアを達成した。
• 解消ツイートでは、知識と報告の手がかり比率（KCR, RCR）が顕著に増加し、事実性手がかり比率（FCR）も解消時刻にピークを迎える。
• 偽物の主張では、解消後に懐疑の手がかりがより急激に増加する一方、検証済みの主張では確実性の手がかりが上昇し、偽物では低下する。
• 解消値と確実性トレンドの相互作用を検討した結果、不連続性の方向性と大きさは、主張が最終的に真か偽かに依存することがわかった。
• 予測された確実性特徴は、原始的な手がかり比率よりも解消値予測で優れた性能を示し、スパarsなデータにおける中間特徴統合の利点を示している。