[論文レビュー] Analyzing Political Bias and Unfairness in News Articles at Different Levels of Granularity

Wei-Fan Chen, Khalid Al‐Khatib+2 more|arXiv (Cornell University)|Oct 20, 2020

Misinformation and Its Impacts参考文献 17被引用数 4

ひとこと要約

本稿では、語、文、段落、ディスcourseレベルという複数のテキスト粒度において、ニュース記事内の政治的バイアスおよび不公正さを検出するニューラルネットワークベースの手法を提案する。新たに整備された6,964件のラベル付き記事から成るコーパスを用いて、逆特徴分析を実施した結果、バイアスは記事の最終的セクションで最も顕著であることが判明した。語レベルでは、否定的感情および現在進行形の言語が主な指標であり、不公正さの検出性能（F1スコア83.42％）は政治的バイアス（F1スコア75.42％）よりも顕著に優れていた。

ABSTRACT

Media organizations bear great reponsibility because of their considerable influence on shaping beliefs and positions of our society. Any form of media can contain overly biased content, e.g., by reporting on political events in a selective or incomplete manner. A relevant question hence is whether and how such form of imbalanced news coverage can be exposed. The research presented in this paper addresses not only the automatic detection of bias but goes one step further in that it explores how political bias and unfairness are manifested linguistically. In this regard we utilize a new corpus of 6964 news articles with labels derived from adfontesmedia.com and develop a neural model for bias assessment. By analyzing this model on article excerpts, we find insightful bias patterns at different levels of text granularity, from single words to the whole article discourse.

研究の動機と目的

• 語からディスコースに至る複数のテキスト粒度において、政治的バイアスおよび不公正さが言語的にどのように現れるかを調査すること。
• 新しい大規模なアノテート済みコーパスを用いて、トレーニング可能な強力な分類器を開発し、ニュース記事内のバイアスおよび不公正さを検出すること。
• テキスト構造に沿ったバイアスの蓄積の仕方、特にどこでバイアスが集中するかを特定すること。
• トレーニング後かつ任意の意味的レベルで適用可能な非教師あり逆特徴分析を用いて、バイアス検出モデルの解釈可能性を高めること。
• 今後のメディアバイアスおよびジャーナリズムの公平性に関する研究のための、公開可能で高品質なコーパスを提供すること。

提案手法

• allsides.comおよびadfontesmedia.comのデータを活用し、トピック、政治的バイアス、不公正さのラベルが付与された6,964件のニュース記事から成る新しいコーパスを構築した。
• ニュース記事内の政治的バイアス、不公正さ、非客観性を検出するため、再帰的ニューラルネットワーク（RNN）分類器をトレーニングした。
• 語、文、段落、ディスコースレベルにおける顕著なテキストセグメントを同定することで、モデルの予測を解釈するため、逆特徴分析を適用した。
• 特に感情的および知覚的言語に注目し、LIWC（Linguistic Inquiry and Word Count）のカテゴリーを用いて、言語的特徴とバイアスタイプの相関を分析した。
• 正規化スコアを用いてテキストセグメントごとのバイアス強度を可視化し、記事の最終四半期にバイアスのピークが確認された。
• モデル再トレーニングや事前定義されたセグメンテーションを必要としない、非教師あり逆特徴分析を用いて、注目度スコアに類似した重要度スコアを抽出した。

実験結果

リサーチクエスチョン

• RQ1 語からディスコースに至る複数のテキスト粒度において、政治的バイアスおよび不公正さはどのように言語的に現れるか？
• RQ2 感情的言語や現在形への注目といった、どの言語的特徴が政治的バイアスおよび不公正さと強く相関しているか？
• RQ3 ニュース記事のどのセクション（文、段落、ディスコース）でバイアスが最も高くなるか？
• RQ4 政治的バイアス、不公正さ、非客観性という3つのタイプにおいて、バイアスの逐次的パターンはどのように異なるか？
• RQ5 注目メカニズムやモデル再トレーニングに依存せずに、逆特徴分析がバイアスのホットスポットを効果的に特定できるか？

主な発見

• RNNモデルは非客観性に対してF1スコア75.42％、不公正さに対して83.42％、政治的バイアスに対して75.42％のスコアを達成し、特に不公正さの検出において優れた性能を示した。
• ニュース記事の最終四半期が常にバイアス強度が最も高く、特に最終段落および文が最も政治的バイアスおよび不公正さを示していた。
• 語レベルでは、否定的感情、怒り、感情カテゴリーが政治的バイアスと強く相関しており、現在進行形の注目が不公正さの指標として最も顕著であった。
• 「感じる」「暗い」「描写する」などの知覚的言語は、非客観性と高い相関を示し、主観的言語と客観性の欠如の間の関連性を示唆した。
• 注目メカニズムやモデル再トレーニングを必要とせず、逆特徴分析により文および段落レベルでのバイアスセグメントを効果的に同定できた。
• 分析の結果、不公正さは政治的バイアスよりも検出が容易であることが判明し、これは選択的事実報道や一方的フレーミングといった明確な言語的マーカーがあるためと考えられた。