[論文レビュー] Social media algorithms can curb misinformation, but do they?

Chhandak Bagchi, Filippo Menczer+4 more|arXiv (Cornell University)|Sep 26, 2024

Misinformation and Its Impacts被引用数 1

ひとこと要約

この論文は、2020年米国大統領選挙期にフェイスブックが一時的に実施した『ブレークガラス』方式のアルゴリズム変更——誤情報の抑止を目的としていたもの——が、ゲストら2023年の研究における制御条件を著しく変更したとして、その有効性に疑問を呈している。著者らは、研究期間中に信ぴょう性の低いニュースの閲覧数が24%減少したのは、アルゴリズム自体の影響ではなく、非公式に発表されなかったこれらの変更によるものである可能性が高いと示している。これは、アルゴリズムが誤情報の拡散を助長しないという研究の結論を根底から揺るがすものである。

ABSTRACT

A recent article in $ extit{Science}$ by Guess et al. estimated the effect of Facebook's news feed algorithm on exposure to misinformation and political information among Facebook users. However, its reporting and conclusions did not account for a series of temporary emergency changes to Facebook's news feed algorithm in the wake of the 2020 U.S. presidential election that were designed to diminish the spread of voter-fraud misinformation. Here, we demonstrate that these emergency measures systematically reduced the amount of misinformation in the control group of the study, which was using the news feed algorithm. This issue may have led readers to misinterpret the results of the study and to conclude that the Facebook news feed algorithm used outside of the study period mitigates political misinformation as compared to reverse chronological feed.

研究の動機と目的

• フェイスブックのアルゴリズム的ニュースフィードとその誤情報露出への影響に関するゲストら2023年の研究の妥当性を評価すること。
• 2020年米国大統領選挙期に一時的に実施された緊急のアルゴリズム変更が、ゲストらの研究における実験的制御条件に与えた影響を調査すること。
• 観察された信ぴょう性の低いコンテンツ露出の減少が、ベースラインのアルゴリズムではなく、アルゴリズム変更によるものである割合を評価すること。
• 非報告のプラットフォームアルゴリズム変更によって生じる、デジタル現実実験における時間的妥当性の欠如のリスクを浮き彫りにすること。
• 研究の妥当性と公共の責任を確保するため、ソーシャルメディアプラットフォームにおけるアルゴリズムの透明性の向上と独立した監査の推進を提言すること。

提案手法

• 著者らは、ユーザーの信ぴょう性の高いおよび信ぴょう性の低い情報源からのニュース露出を測定するために、メッシングら（2020）のフェイスブックURLデータセットを分析した。
• 信ぴょう性の低い情報源は、メディアバイアス／ファクトチェック（MBFC）の評価を用いて定義した。特に、事実性の報告に関して「ミックスド」「低」「非常に低」の評価を受けたメディアを対象とした。
• 週単位のニュース情報源あたりの平均閲覧数を算出し、2020年9月から2021年3月にかけての信ぴょう性の低いニュースの閲覧数の割合の変化を追跡した。
• ゲストらの研究期間中の信ぴょう性の低いコンテンツ露出の低下を、より広い時間軸と比較し、信ぴょう性の低い閲覧数の割合が24%減少したことを特定した。
• ニュースガードのスコアを用いたクロスバリデーションにより、信ぴょう性の低いコンテンツ露出の傾向が類似していることが確認された。
• メタ社が選挙後に誤情報抑止を目的として導入した63件の『ブレークガラス』方式アルゴリズム変更の既知のタイムラインと照合して、研究結果を文脈づけた。

実験結果

リサーチクエスチョン

• RQ1 2020年米国大統領選挙期にメタ社が一時的に実施した『ブレークガラス』方式のアルゴリズム変更が、ゲストらのランダム化実験における制御条件にどの程度影響を与えたか。
• RQ2 研究期間中に観察された信ぴょう性の低いコンテンツ露出の減少は、アルゴリズムフィードの影響か、それとも緊急のプラットフォーム干渉の影響によるものか。
• RQ3 報告されていないアルゴリズム変更が、ソーシャルメディアプラットフォーム上でのデジタル現実実験の時間的妥当性と一般化可能性にどのような影響を及ぼすか。
• RQ4 同じ実験が緊急のアルゴリズム変更が行われない時期に実施された場合、ゲストらの研究で観察された効果は再現可能か。
• RQ5 プラットフォームのアルゴリズムの不透明性が、独立した研究および誤情報に関する公共政策に与える影響は何か。

主な発見

• 2020年11月3日から2021年3月8日までの間、アルゴリズムフィードにおける信ぴょう性の低いニュースの閲覧数の割合は約24%低下した。これはゲストらの研究期間と重複している。
• この信ぴょう性の低いコンテンツ露出の低下は、ベースラインのアルゴリズムフィードの影響ではなく、メタ社の63件の緊急『ブレークガラス』方式アルゴリズム変更によるものである可能性が高い。
• 研究の結論である「アルゴリズムフィードは信ぴょう性の低いコンテンツの露出を減少させる」という主張は、非公式なプラットフォーム干渉によって制御条件が変更されたため、有効性を失っている可能性がある。
• これらの一時的なアルゴリズム変更は、2020年米国大統領選挙直後に信ぴょう性の低い情報源の可視性を低下させることを目的として設計された。
• 結果から、ソーシャルメディアのアルゴリズムは、危機時に意図的に変更されれば誤情報を抑えることができるが、通常の状態ではそのような効果が得られないことから、長期的な信頼性と透明性に関する懸念が生じる。
• 更新されたプラットフォームデータへのアクセスと一貫したアルゴリズムの開示がなければ、今後の誤情報に関する研究は不完全であり、誤解を招く可能性がある。