[論文レビュー] Unmasking Bias in News

Javier Sánchez-Junquera, Paolo Rosso+2 more|arXiv (Cornell University)|Jun 11, 2019

Misinformation and Its Impacts被引用数 2

ひとこと要約

本稿は、分類性能に与えるコンテンツとスタイルの影響を分離するためにマスキング技術を用いたハイパーパートイザンニュース検出を調査する。高頻度語をマスキングすることでスタイルを強調し、トピック固有語をマスキングすることでコンテンツを強調する。著者らは、コンテンツベースの特徴、特に文字5-グラムが、スタイルベースのモデルおよび先行の最先端手法を上回ることを発見した。これは、思想的同一性を持つ出典間で語彙的オーバーラップが生じるため、暗黙のバイアス検出にはより洗練されたデータセットが必要であることを示唆している。

ABSTRACT

We present experiments on detecting hyperpartisanship in news using a 'masking' method that allows us to assess the role of style vs. content for the task at hand. Our results corroborate previous research on this task in that topic related features yield better results than stylistic ones. We additionally show that competitive results can be achieved by simply including higher-length n-grams, which suggests the need to develop more challenging datasets and tasks that address implicit and more subtle forms of bias.

研究の動機と目的

• コンテンツと文章スタイルのどちらがハイパーパートイザンニュース検出においてより予測的であるかを調査すること。
• マスキング技術がハイパーパートイザンニュース検出におけるスタイル的特徴とトピック的特徴を分離して評価する有効性を評価すること。
• 従来の特徴セットと比較して、より長い長さのn-gram（例：5-gram）が性能向上に寄与するかを検証すること。
• 現在のデータセットが、ニュースにおける微細で暗黙のバイアスを検出するのには十分に挑戦的であるかを評価すること。

提案手法

• 特定の語をアスタリスクまたは数字記号に置き換えることで、構造を保ちつつコンテンツまたはスタイルを分離するマスキング技術を適用する。
• スタイルベースのモデリングでは、k個の最も頻出する語をマスキングし、希少語を残してスタイルパターンを反映させる。
• トピックベースのモデリングでは、k個の最も頻出する語を保持し、それ以外の語をマスキングすることでトピック的コンテンツを強調する。
• 特徴として文字レベルの5-グラムを用い、これはより小さいn-gramや従来の語彙的特徴を上回る性能を示した。
• SVMを用いてモデルを訓練し、scikit-learnを用いて特徴の重みを抽出することで、判別的語を同定する。
• クリーニングされた BuzzFeed-Webis Fake News Corpus 2016 のバージョンを用い、ランダムオーバーサンプリングによるバランス化を実施した。

実験結果

リサーチクエスチョン

• RQ1 コンテンツと文章スタイルのどちらがハイパーパートイザンニュース検出に強い影響を与えるか？
• RQ2 マスキング技術は、分類性能に与えるスタイルとコンテンツの寄与を効果的に分離・評価できるか？
• RQ3 より長い長さのn-gram（例：5-gram）は、より小さいn-gramや従来の特徴と比較して検出性能を向上させるか？
• RQ4 思想的同一性を持つ出典間で語彙的オーバーラップが生じる場合、現在の検出手法にどの程度の影響を与えるか？

主な発見

• k < 500 の場合、高頻度語をマスキングし希少語を保持するトピックベースのモデルが、スタイルベースのモデルを上回った。これはコンテンツ特徴がスタイル特徴よりも判別能が優れていることを示している。
• マスキングを一切行わない文字5-グラムを用いたベースラインモデルが、最も高いマクロF1スコアを達成し、マスキング付きモデルおよび先行の最先端手法を上回った。
• 5-グラムの抽出がより小さいn-gramよりも顕著に優れた性能を示し、これはより長い語彙的シーケンスがハイパーパートイザンニュースにおいてより判別的なパターンを捉えられることを示唆している。
• 『donal』、『onald』、『hill』、『llary』といった特徴がトピックベースのモデルで顕著で、左翼・右翼のメディアにおけるドナルド・トランプおよびヒラリー・クリントンとの強い関連性を示している。
• スタイルベースのモデルでは『out』、『you』、『and』、『of』といった機能語が顕著で、スタイルの違いが高頻度語の組み合わせに依存しており、微細であることが示された。
• トピックベースのモデルでは、CNNのコンテンツを学習した際、『cnn』が判別的特徴として学習されたが、テストセットではこの特徴が希少であったため、データ分布のシフトが顕在化した。