[論文レビュー] Stance Prediction for Russian: Data and Analysis

Nikita Lozhnikov, Leon Derczynski+1 more|arXiv (Cornell University)|Jan 1, 2018

Misinformation and Its Impacts参考文献 36被引用数 5

ひとこと要約

本稿では、4つのステークホルダークラス（支持、否定、質問、コメント）に対してアノテートされたツイートおよびニュースコメントを含む、ロシア語向けのステークホルダ検出データセットであるRuStanceを紹介する。このデータセットは、ロシア語におけるフェイクニュースおよび誤情報研究の基盤を築くものであり、クラスの不均衡にもかかわらず、ベースラインモデルで90%を超える精度を達成している。

ABSTRACT

Stance detection is a critical component of rumour and fake news identification. It involves the extraction of the stance a particular author takes related to a given claim, both expressed in text. This paper investigates stance classification for Russian. It introduces a new dataset, RuStance, of Russian tweets and news comments from multiple sources, covering multiple stories, as well as text classification approaches to stance detection as benchmarks over this data in this language. As well as presenting this openly-available dataset, the first of its kind for Russian, the paper presents a baseline for stance prediction in the language.

研究の動機と目的

• ロシア語におけるステークホルダ検出のためのアノテート済みデータセットが不足しているという問題に対処すること。ロシア語は政治的・メディア的関与が著しい言語である。
• 主に論争的主張に関する現実世界の議論を反映する、多様でマルチソースのロシア語ツイートおよびニュースコメントのデータセットを構築すること。
• 従来の機械学習モデルとディープラーニングモデルを用いたロシア語におけるステークホルダ分類のベースラインパフォーマンスを確立すること。
• ロシア語のソーシャルメディアおよびニュースコメントデータにおけるクラスの不均衡、言語的変異、ノイズといった課題を分析すること。
• 将来の多言語フェイクニュース検出およびロシア語コンテンツ向けの事実確認パイプライン研究を支援すること。

提案手法

• Twitter、Meduza、Russia Today から構成されるマルチソースデータセット（RuStance）を構築し、主張とそれに対する返信を収集し、ステークホルダーアノテーションを付与した。
• 4つのステークホルダークラスを定義した：支持（証拠に基づく支持）、否定（拒否）、質問（証拠の要求）、コメント（評価的でない反応）。
• GensimおよびKerasを用いてトークン化、TF-IDFベクトル化、ワードエムベッディングを実施し、テキストを前処理した。
• ロジスティック回帰、SGD、バギング、AdaBoost、ブースティングなどの複数の分類器を、5分割交差検証を用いて訓練・評価した。
• ストラティファイドな訓練/テスト分割を用い、F1スコアと精度といった評価指標を用いてモデルパフォーマンスを評価した。
• 誤分類のパターンを分析するため、混同行列を生成した。特に「コメント」クラスの優位性に注目した。

実験結果

リサーチクエスチョン

• RQ1 標準的なテキスト分類モデルは、ロシア語のソーシャルメディアおよびニュースコメントスレッドにおけるステークホルダ予測にどの程度有効であるか？
• RQ2 特に「コメント」クラスの優位性に起因するクラスの不均衡が、ロシア語のステークホルダ検出におけるモデルパフォーマンスにどの程度影響を及えるか？
• RQ3 ロシア語のツイートおよびコメントの言語的・構造的特徴（例：攻撃的表現、文法的誤り、マルチメディアの使用）は、ステークホルダ分類にどのように影響を及えるか？
• RQ4 1,000件のアノテート済み例しか存在しない低リソース言語であるロシア語において、ベースラインモデルが高精度を達成できるか？
• RQ5 ロシア語データで訓練されたモデルの汎化性と耐性は、英語データで訓練されたモデルと比べてどの程度か？

主な発見

• 最良のベースラインモデルは、バギングアンサンブル分類器を用いて、精度92.5%、F1スコア0.865を達成した。
• 高い精度にもかかわらず、モデルは「コメント」クラスに強く過適合しており、70%以上のケースでそのクラスを予測した。これは、クラスの不均衡に起因する深刻な課題を示している。
• 「支持」と「否定」クラスは「質問」と「コメント」クラスよりもより信頼性高く予測されたが、後者2つはより高い誤分類率を示した。
• ロジスティック回帰やバギングといった従来のモデルが、SGD や AdaBoost といったディープラーニングアプローチを上回った。これは、この小規模でノイズの多いデータセットでは、単純なモデルがより良い一般化性能を示す可能性を示している。
• 混同行列の分析から、高精度のモデルですら「質問」と「コメント」のステークホルダーを区別するのに苦労していることが明らかになった。これは、より優れた文脈モデリングの必要性を示唆している。
• 本データセットは、ロシア語のソーシャルメディアおよびコメント欄が英語と同等の言語的・構造的多様性を示していることを示しており、多言語ステークホルダ検出に有効なリソースであると支持する。