[論文レビュー] Do All Good Actors Look The Same? Exploring News Veracity Detection Across The U.S. and The U.K

Benjamin D. Horne, Maurício Gruppi+1 more|arXiv (Cornell University)|May 26, 2020

Misinformation and Its Impacts参考文献 9被引用数 4

ひとこと要約

本研究では、米国およびイギリスのニュース出典を対象に、テキストベースのニュース真正性検出モデルの性能を評価した。その結果、同じ言語を使用しても、米国のデータで学習したモデルはイギリスのデータへの一般化が著しく劣り、逆も同様であることが判明した。主な結果として、訓練データに含まれない未知の信頼性の低い出典の分類において顕著な性能低下が見られ、テキスト特徴量のみに依存するモデルの限界と、真正性検出システムにおける文化的要因への耐性および外部信号の統合の必要性が浮き彫りになった。

ABSTRACT

A major concern with text-based news veracity detection methods is that they may not generalize across countries and cultures. In this short paper, we explicitly test news veracity models across news data from the United States and the United Kingdom, demonstrating there is reason for concern of generalizabilty. Through a series of testing scenarios, we show that text-based classifiers perform poorly when trained on one country's news data and tested on another. Furthermore, these same models have trouble classifying unseen, unreliable news sources. In conclusion, we discuss implications of these results and avenues for future work.

研究の動機と目的

• 米国のニュースデータで学習したテキストベースのニュース真正性検出モデルが、イギリスのニュースデータに一般化するかを調査すること。
• 両国における訓練データに含まれない未知の信頼性の低いニュース出典の分類性能を評価すること。
• 特徴量のスケーリングと正規化が、国や出典を越えたモデルの一般化性能に与える影響を評価すること。
• 米国およびイギリスの信頼性のある出典を併用して学習させることで、国境を越えた性能向上が達成できるかを検討すること。
• テキストのみに依存するモデルの主な限界を特定し、真正性検出における外部信号の統合の可能性を示唆すること。

提案手法

• NELA-GT-2018データセットを用いて、米国（US）、イギリス（UK）、信頼性の低い（UR）出典のニュース記事を抽出し、各クラスに5つの出典をバランスさせる。
• 2種類の特徴量セットを採用：NELA（スタイル、複雑さ、バイアス、感情、道徳的カテゴリーの194個の手作業で作成された特徴量）とDoc2Vec（100次元のパラグラフ埋め込み）。
• モデルの安定性と一般化性能を向上させるために、特徴量のスケーリングと正規化（NELA-scaled、Doc2Vec-scaled）を適用。
• 2つのテストシナリオ（記事スプリット：同じ出典、ソーススプリット：未知の出典）において、複数の分類器（ランダムフォレスト、SVM）を訓練および評価。
• 妥当性を評価するため、交差検証（5分割）を繰り返し、正解率、混同行列、標準偏差を用いて性能を評価。
• 国別スプリットとソーススプリットの性能を比較し、一般化の失敗要因を特定した。

実験結果

リサーチクエスチョン

• RQ1 米国のニュースデータで学習したテキストベースのニュース真正性検出モデルは、イギリスのニュースデータに効果的に一般化できるか。逆も同様か。
• RQ2 訓練データに含まれない未知の信頼性の低いニュース出典を分類する際、モデルの性能はどの程度か。
• RQ3 特徴量のスケーリングと正規化は、国や出典を越えたモデルの一般化性能を向上させるか。
• RQ4 米国およびイギリスの信頼性のある出典を併用して学習させることで、国境を越えた検出性能が向上するか。
• RQ5 未知の信頼性の低い出典を検出できない主な要因は何か。また、それらの要因はどのように緩和できるか。

主な発見

• 米国のニュースデータで学習したモデルは、イギリスのニュースデータに対して44.0%の正解率にとどまり、逆も同様であるため、国境を越えた一般化性能が著しく低いことが示された。
• 最も高い性能を示したモデル（SVM＋Doc2Vec-scaled特徴量）は、未知の信頼性の低い出典に対して61.0%の正解率を達成したが、これは訓練済み出典の性能に比べて顕著に低い水準であった。
• ランダムフォレストモデルでは、記事スプリットとソーススプリットのテスト間で正解率が24.9%低下し、未知の信頼性の低い出典の検出に著しい失敗を示した。
• SVMモデルはソーススプリットのシナリオでランダムフォレストを上回り、Doc2Vec-scaled特徴量を用いることで、訓練済み出典と未知出典のテスト間で正解率の低下がたった2.7%にとどまった。
• 混同行列の分析から、信頼性の低い出典の誤分類率が信頼性のある出典よりも著しく高く、これは信頼性の低い出典間でのスタイルの広範なばらつきに起因することが判明した。
• 米国およびイギリスの信頼性のある出典を併用して学習させた場合、誤検出（ファルス・ポジティブ）が増加し、このデータ統合は一般化性能の向上に寄与せず、むしろ信頼性を損なう可能性があることが示された。