[論文レビュー] Disinformation in the Online Information Ecosystem: Detection, Mitigation and Challenges

Amrita Bhattacharjee, Kai Shu+2 more|arXiv (Cornell University)|Oct 18, 2020

Misinformation and Its Impacts参考文献 53被引用数 5

ひとこと要約

このサーベイは、COVID-19の『インフォデミック』に伴うオンラインソーシャルメディアにおける誤情報の検出と緩和戦略に焦点を当てている。計算的手法と多分野的統合的手法を統合し、AI生成コンテンツやエコー・チェンバーといった課題を浮き彫りにし、誤情報に対抗するための改善されたアルゴリズムとメディアリテラシーの向上を要請している。

ABSTRACT

With the rapid increase in access to internet and the subsequent growth in the population of online social media users, the quality of information posted, disseminated and consumed via these platforms is an issue of growing concern. A large fraction of the common public turn to social media platforms and in general the internet for news and even information regarding highly concerning issues such as COVID-19 symptoms. Given that the online information ecosystem is extremely noisy, fraught with misinformation and disinformation, and often contaminated by malicious agents spreading propaganda, identifying genuine and good quality information from disinformation is a challenging task for humans. In this regard, there is a significant amount of ongoing research in the directions of disinformation detection and mitigation. In this survey, we discuss the online disinformation problem, focusing on the recent 'infodemic' in the wake of the coronavirus pandemic. We then proceed to discuss the inherent challenges in disinformation research, and then elaborate on the computational and interdisciplinary approaches towards mitigation of disinformation, after a short overview of the various directions explored in detection efforts.

研究の動機と目的

• オンラインソーシャルメディアにおける誤情報の増加、特にCOVID-19パンデミック期の分析。
• AI生成コンテンツやアルゴリズムバイアスを含む、誤情報の検出と緩和における主な課題の同定。
• 誤情報の拡散を検出・低減するための計算的手法と多分野的統合的手法の評価。
• 誤情報に対抗するための改善されたレコメンデーションシステムと一般のメディアリテラシーの緊急の必要性を強調。

提案手法

• ソーシャルメディア生態系における誤情報検出と緩和技術に焦点を当てた、誤情報研究の包括的サーベイを実施。
• 誤情報パターンの同定に用いられる自然言語処理（NLP）、グラフニューラルネットワーク、言語モデルなどの計算手法をレビュー。
• メディアリテラシー教育プログラムや信頼インジケータ（例：Trust Project）を含む多分野的戦略を検討し、一般の公的レジリエンスの強化を図る。
• ソーシャルメディアのアルゴリズムがエコー・チェンバーを拡大する役割を分析し、バランスの取れたコンテンツ露出を実現するためのランク付けシステムの再設計を提案。
• 大規模言語モデル（例：GPT-2、GPT-3）やディープフェイクが誤情報キャンペーンの自動化に与える影響を評価。
• 『Plandemic』映画や2,000件のCOVID-19関連のデマを含む事例研究の統合的分析を通じて、現実世界における誤情報のダイナミクスを提示。

実験結果

リサーチクエスチョン

• RQ1 COVID-19パンデミックは、オンライン情報生態系における誤情報の拡散をどのように悪化させたか？
• RQ2 スケールで誤情報を検出・緩和するにあたり、主な技術的および社会的課題は何か？
• RQ3 NLPやグラフベースのモデルといった計算的手法は、誤情報検出をどのように改善できるか？
• RQ4 特にメディアリテラシーと信頼インジケータが、誤情報に対する一般の公的レジリエンスをどのように高められるか？
• RQ5 高度な言語モデルとディープフェイクは、将来の誤情報脅威および防御メカニズムにどのような影響を与えるか？

主な発見

• 世界保健機関（WHO）は、COVID-19パンデミックを『インフォデミック』として特定し、2,000件を超えるデマや陰謀論がオンラインで広がっていると報告した。
• 2019年のスタンフォード大学の研究では、90％の学生がオンライン情報源の信頼性を正しく評価できなかったことが判明し、誤情報に対する広範な感受性が浮き彫りになった。
• 既存のソーシャルメディアのレコメンデーションアルゴリズムは、ユーザーの事前の信念と一致するコンテンツを優先することで、エコー・チェンバーを強化している。
• GPT-2 や GPT-3 といった大規模言語モデルは、微調整によってスケールで非常に説得力のある人間らしい誤情報を生成できる。
• Trust Projectの8つの信頼インジケータ や、DROGといった教育ゲームが、一般の認識と誤情報に対する心理的レジリエンスの向上に貢献している。
• 多様な見解への露出をバランスよく保ち、コンテンツランク付けにおける極端化を低減するためのアルゴリズムの見直しが、極めて重要である。