[論文レビュー] Technology-Enabled Disinformation: Summary, Lessons, and Recommendations

John Garland Akers, Gagan Bansal+13 more|arXiv (Cornell University)|Dec 21, 2018

Misinformation and Its Impacts参考文献 59被引用数 16

ひとこと要約

この論文は、現代の技術が誤情報および事実誤認の広範な拡散を可能にする仕組みを調査し、特にディープフェイク、標的広告、ボットネットに焦点を当てている。技術的・政策的対策を提言し、責任ある設計、ユーザーの意識、分野横断的協働を重視することで、機械学習に依存せずに害を軽減することを目指している。

ABSTRACT

Technology is increasingly used -- unintentionally (misinformation) or intentionally (disinformation) -- to spread false information at scale, with potentially broad-reaching societal effects. For example, technology enables increasingly realistic false images and videos, and hyper-personal targeting means different people may see different versions of reality. This report is the culmination of a PhD-level special topics course (https://courses.cs.washington.edu/courses/cse599b/18au/) in Computer Science & Engineering at the University of Washington's Paul G. Allen School in the fall of 2018. The goals of this course were to study (1) how technologies and today's technical platforms enable and support the creation and spread of such mis- and disinformation, as well as (2) how technical approaches could be used to mitigate these issues. In this report, we summarize the space of technology-enabled mis- and disinformation based on our investigations, and then surface our lessons and recommendations for technologists, researchers, platform designers, policymakers, and users.

研究の動機と目的

• 現在の技術、特にAI、ソーシャルメディア、データ追跡が誤情報および事実誤認の拡散をどのように拡大させているかを分析すること。
• 合成メディア、行動ターゲティング、自動化ボットなどの技術的要因が誤情報拡散を可能にする仕組みを同定すること。
• 誤情報の拡散を抑制するための既存の技術的防御策とその限界を評価すること。
• 技術者、研究者、プラットフォーム設計者、政策立案者、ユーザーが誤情報の社会的影響を低減するために実行可能な提言を提供すること。
• 技術的解決策だけでは不十分であり、認知科学、社会学、政策分野の知見を統合することで、情報汚染の根本的原因に対処する必要があることを強調すること。

提案手法

• ワシントン大学のアレン・スクールで修士課程レベルの特別研究コースを実施し、誤情報の技術的側面を調査した。
• 選挙、健康に関する誤情報、社会的不安定の事例を含む、誤情報エコシステムに関する既存の研究を調査した。
• コアな技術的要因を分析した：ディープフェイク生成（例：GANs）、ハイパーパerson化されたコンテンツターゲティング、拡散を助けるボットネットワーク。
• 検出モデル、ウォーターマーキング、プラットフォームレベルの干渉策などの既存の技術的緩和戦略を評価した。
• 認知バイアス、メディアリテラシー、プラットフォーム経済学の知見を統合した分野横断的分析を実施した。
• 技術的実現可能性と現実世界の制約に基づいて提言を策定し、未検証のAIソリューションへの過度な依存を避けるようにした。

実験結果

リサーチクエスチョン

• RQ1 AI生成メディア、標的広告、自動化ボットといった現代技術が、誤情報の広範な生成と拡散をどのように可能にしているか。
• RQ2 現在の誤情報キャンペーンと歴史的プロパガンダとを区別づける主な技術的・システム的要因は何か。
• RQ3 検出アルゴリズム、コンテンツのルート追跡、ボット同定といった技術的解決策が、誤った情報の拡散をどの程度軽減できるか。
• RQ4 なぜ現在の技術的防御策は、実世界の環境でスケーラビリティや実効性を発揮しないことが多いのか。
• RQ5 技術者、研究者、政策立案者が、人間の認知、プラットフォーム経済、社会的信頼を考慮して、どのように協働的に干渉策を設計できるか。

主な発見

• コンテンツ作成の民主化とDeepFakesのようなアクセスしやすいツールのおかげで、極めてリアルな偽物コンテンツを生成する技術的・財政的障壁が著しく低下した。
• エンゲージメントと広告収入に結びつく経済的インcentiveが、意図せずとも感情的で誤解を招くコンテンツの生成と拡散を促進している。
• ハイパーパerson化されたターゲティングとリアルタイムのフィードバックループにより、誤情報は個々のユーザーに適合させられ、是正が困難な分断された現実を生み出している。
• 現在の技術的防御策、特に機械学習ベースの検出は、敵対的耐性の欠如、一般化能力の不足、合成コンテンツの急速な進化のため、しばしば失敗する。
• 検出と防止は純粋な技術的問題ではなく、認知バイアス、社会的ダイナミクス、プラットフォームのインcentiveが、誤情報の拡散と受容に大きな影響を与えている。
• 効果的な緩和には分野横断的協働が必要である。技術的解決策は、政策改正、メディアリテラシー、倫理的な設計原則と組み合わせて、持続可能で効果的なものとなる。