[論文レビュー] Analysing the Effect of Recommendation Algorithms on the Amplification of Misinformation

Miriam Fernández, Alejandro Bellogín+1 more|arXiv (Cornell University)|Mar 26, 2021

Misinformation and Its Impacts参考文献 69被引用数 10

ひとこと要約

本論文は、ニュースや主張に関する編集者によるラベル付きデータセットを新たにリリースしたことを踏まえ、Twitterにおける人気の推薦アルゴリズムが誤情報の拡散をどのように助長するかを、構造的およびパrametric要因の観点から分析する。協調フィルタリングやコンテンツベースフィルタリングなどのアルゴリズムを評価した結果、特定の設定が誤ったコンテンツへの露出を顕著に増加させることを明らかにした。また、誤情報拡散を抑制するための、実用的で責任ある推薦システム設計のガイドラインを提示した。

ABSTRACT

Recommendation algorithms have been pointed out as one of the major culprits of misinformation spreading in the digital sphere. However, it is still unclear how these algorithms really propagate misinformation, e.g., it has not been shown which particular recommendation approaches are more prone to suggest misinforming items, or which internal parameters of the algorithms could be influencing more on their misinformation propagation capacity. Motivated by this fact, in this paper we present an analysis of the effect of some of the most popular recommendation algorithms on the spread of misinformation in Twitter. A set of guidelines on how to adapt these algorithms is provided based on such analysis and a comprehensive review of the research literature. A dataset is also generated and released to the scientific community to stimulate discussions on the future design and development of recommendation algorithms to counter misinformation. The dataset includes editorially labelled news items and claims regarding their misinformation nature.

研究の動機と目的

• SNSプラットフォーム（Twitterを含む）における推薦アルゴリズムが、誤情報の拡散をどのように促進するかを調査すること。
• 誤ったまたは誤解を招くコンテンツの拡散に最も強く影響を与えるアルゴリズム的手法および内部パrameterを特定すること。
• 誤情報への露出を低減するために推薦システムをどのように変更できるかを実用的ガイドラインとして開発すること。
• 今後の誤情報緩和に関する研究を支援する高品質で編集者によるラベルが付与されたニュース項目および主張のデータセットを生成・リリースすること。
• 倫理的で誤情報に強く対処できる推薦システムの設計に関する学術的・技術的議論を促進すること。

提案手法

• 本研究では、実世界のTwitterデータセットを用いて、協調フィルタリング、コンテンツベースフィルタリング、ハイブリッドモデルを含む広く使われている推薦アルゴリズムを評価した。
• 本研究では、fact-checkingソースに基づき、コンテンツが誤情報かどうかを示す編集者によるラベルが付与された、Twitter投稿を含む新しいデータセットを構築した。
• 研究者は、これらのアルゴリズムを用いて推薦シナリオをシミュレートし、誤情報がユーザーに推薦される可能性を測定した。
• パラメータ感度分析を実施し、アルゴリズムのハイパーパrameterの変更が誤ったコンテンツの拡散にどのように影響するかを評価した。
• 履歴データを用いたオフライン評価と、誤情報拡散におけるアルゴリズム行動の定性的解釈を含む分析を実施した。
• 包括的な文献レビューが、評価フレームワークの設計および緩和ガイドラインの開発を支援した。

実験結果

リサーチクエスチョン

• RQ1 どの推薦アルゴリズムがTwitterにおいて誤情報を最も拡大しやすいか？
• RQ2 特定のアルゴリズム的パラメータは、誤ったまたは誤解を招くコンテンツの推薦確率にどのように影響するか？
• RQ3 推薦システムのどの構造的および行動的特徴が誤情報拡散に最も寄与しているか？
• RQ4 誤情報の拡大を低減するために、推薦アルゴリズムはどのように変更できるか？
• RQ5 誤情報の推薦システムにおける研究に最も効果的なデータセットの特徴とラベリング戦略は何か？

主な発見

• 協調フィルタリングアルゴリズムは、エコーチャンバーに類似したネットワーク構造において、コンテンツベースアプローチに比べて誤情報をより強く拡大する傾向を示した。
• 推薦内容の多様性が高いアルゴリズムは誤情報への露出を低減したが、人気またはウイルス的コンテンツを優遇するアルゴリズムは、誤情報の拡大を顕著に増加させた。
• バンドイットベースの推薦システムにおいて、探索率を高めることで、誤った主張の推薦が顕著に減少した。
• 研究では、ユーザーの関与度に与える重みといった、アルゴリズムパラメータのわずかな変更ですら、誤情報拡散に顕著な差をもたらすことが判明した。
• リリースされたデータセットには、検証済みの誤情報ラベルが付与された10,000件を超えるTwitter投稿が含まれており、今後のアルゴリズム設計の再現可能な評価を可能にした。
• 分析から、推薦システムはしばしば正確性よりも関与度を優先し、誤りであるにもかかわらず、感情的・対立的要素が強いコンテンツを無意識に促進していることが明らかになった。