[論文レビュー] Multi-Task Ordinal Regression for Jointly Predicting the Trustworthiness and the Leading Political Ideology of News Media

Ramy Baly, Georgi Karadzhov+3 more|arXiv (Cornell University)|Apr 1, 2019

Misinformation and Its Impacts参考文献 39被引用数 5

ひとこと要約

本稿では、補助的タスクとして中心性や過激な一貫性（ハイパーパrtisanhip）を用い、信頼性（3段階尺度）と政治的イデオロギー（7段階左翼〜右翼尺度）を同時に予測するマルチタスク順序回帰フレームワークを提案する。信頼性と政治的バイアスの間に内在する相関関係を共有表現学習によって活用することで、事実性予測のMAEが最大0.118、バイアス予測のMAEが最大0.295まで低下し、顕著な性能向上を達成した。

ABSTRACT

In the context of fake news, bias, and propaganda, we study two important but relatively under-explored problems: (i) trustworthiness estimation (on a 3-point scale) and (ii) political ideology detection (left/right bias on a 7-point scale) of entire news outlets, as opposed to evaluating individual articles. In particular, we propose a multi-task ordinal regression framework that models the two problems jointly. This is motivated by the observation that hyper-partisanship is often linked to low trustworthiness, e.g., appealing to emotions rather than sticking to the facts, while center media tend to be generally more impartial and trustworthy. We further use several auxiliary tasks, modeling centrality, hyperpartisanship, as well as left-vs.-right bias on a coarse-grained scale. The evaluation results show sizable performance gains by the joint models over models that target the problems in isolation.

研究の動機と目的

• ニュースメディアの信頼性と政治的イデオロギーを、独立した二値または多クラス分類タスクではなく、順序尺度として予測するという未だ十分に検討されていない問題に取り組むこと。
• メディアの信頼性と政治的バイアスの連関関係をモデル化し、ハイパーパrtisanhipが事実性の低い報道と相関することが多いことを認識すること。
• 中心性、ハイパーパrtisanhip、粗いバイアス分類といった補助的タスクを用いることで、予測性能を向上させること。
• 順序回帰を用いたマルチタスク学習が、事実性とバイアス予測の両タスクにおいて、単一タスクベースラインを上回ることを示すこと。
• フェイクニュースやメディアバイアス対策の広範な取り組みを支援するため、信頼性の低いまたは偏ったメディア源の早期特定を可能にするフレームワークを提供すること。

提案手法

• フレームワークは、メディアの信頼性（3段階尺度）と政治的イデオロギー（左から右への7段階尺度）の2つの主なタスクを同時にモデル化するマルチタスク順序回帰を用いる。
• 中心性（中心 vs. 非中心）、過激なバイアス（過激 vs. 非過激）、および粗いバイアス分類（3段階および5段階尺度）といった補助的タスクを導入する。
• 信頼性とバイアス予測の間で共有表現を活用することで、知識の転送を可能にする。
• モデルは順序回帰損失関数を用いてエンドツーエンドに訓練され、主評価指標として平均絶対誤差（MAE）が用いられる。
• モデルは、事実チェックジャーナリストによってアノテートされたニュースメディアのデータセット上で評価され、信頼性と政治的バイアスのゴールスタンダードラベルが提供されている。
• 統計的有意性は、MAEスコアを用いた両側t検定により、ベースラインとの性能向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 信頼性と政治的イデオロギーを同時にモデル化することで、独立したモデル化と比較して予測性能が向上するか？
• RQ2 中心性やハイパーパrtisanhipといった補助的タスクを組み込むことで、信頼性とバイアス予測の精度はどのように変化するか？
• RQ3 事実性が政治的イデオロギー予測に有用なインダクティブバイアスを提供するのか、それとも誤差を引き起こす要因になるのか？
• RQ4 マルチタスク順序回帰は、極端な左翼と極端な右翼バイアスを区別する際の総合的予測誤差をどの程度低減するか？
• RQ5 低信頼性とハイパーパrtisanhipの相関関係が、統合学習フレームワークによって効果的に捉えられ、活用されているか？

主な発見

• 統合的マルチタスク順序回帰モデルは、事実性予測で平均絶対誤差（MAE）0.481を達成し、単一タスクベースライン比で12.5%の改善を示した。
• 7段階尺度での政治的イデオロギー予測において、最良のモデルはMAE 1.475を達成し、単一タスクベースライン比で20.5%の低下を示した。
• 事実性、5段階バイアス、3段階バイアスを補助的タスクとして組み合わせた場合が最良の性能を示し、バイアス予測のMAEは1.475、MAE Mは1.623となった。
• 事実性を補助的タスクとして追加することで、すべての設定でMAEが一貫して低下し、バイアス予測に補足的情報を提供していることが示された。
• すべての主要評価指標において、モデルは多数クラスベースライン（p ≤ 0.001）および単一タスクモデル（p ≤ 0.02）を顕著に上回った。
• 結果から、信頼性と政治的バイアスを同時にモデル化することで、それらを独立したタスクとして扱うよりも、より強固で正確な予測が得られることを確認した。