[論文レビュー] Sociotechnical Implications of Generative Artificial Intelligence for Information Access

Bhaskar Mitra, Henriette Cramer+1 more|arXiv (Cornell University)|May 19, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本稿は、情報アクセスにおける生成的AIの社会的・技術的影響を検討し、結果—メカニズム—リスク（CMR）フレームワークを用いて、情報エコシステムの混乱、権力の集中、バイアスの拡大、環境的被害といったシステム的リスクを特定する。評価および緩和戦略を提案し、倫理的な設計、データ労働の擁護、AI駆動型情報検索システムにおける社会的ニーズの再中心化を強調する。

ABSTRACT

Robust access to trustworthy information is a critical need for society with implications for knowledge production, public health education, and promoting informed citizenry in democratic societies. Generative AI technologies may enable new ways to access information and improve effectiveness of existing information retrieval systems but we are only starting to understand and grapple with their long-term social implications. In this chapter, we present an overview of some of the systemic consequences and risks of employing generative AI in the context of information access. We also provide recommendations for evaluation and mitigation, and discuss challenges for future research.

研究の動機と目的

• 生成的AIの情報アクセスにおけるシステム的・社会的技術的リスクを分析すること、特に大規模言語モデル（LLMs）に焦点を当てる。
• 生成的AIが情報エコシステムをどのように破壊し、知識生産とアクセスにおける不平等を悪化させるかを特定すること。
• データ労働、環境的コスト、AIの整合性が、倫理的で持続可能な情報検索システムを形作る役割を検討すること。
• 社会的技術的システムの思考とステークホルダー中心設計に基づいた、実行可能な評価および緩和戦略を提案すること。
• 現在のIRにおけるAIのトレンドを再考し、社会的ニーズを再中心化し、情報アクセスのための解放的で公平な未来を描くこと。

提案手法

• Gausenらの結果—メカニズム—リスク（CMR）フレームワークを採用し、社会的技術的影響の分析を構造化する。
• 特定された結果（例：情報エコシステムの混乱）を、その背後にあるメカニズム（例：コンテンツ汚染、直接的なモデルアクセス）および関連するリスクにマッピングする。
• 情報検索の文脈において、バイアス、整合性、データ労働、環境的影響に関する既存の文献を統合的に分析する。
• データ配分、集団的行動（例：データストライキ）、代替ライセンスモデルなどのデータ指向の緩和戦略を提案する。
• 労働組織活動（例：ハリウッドストライキ）と技術的対策（例：NightShade、Glaze、Mistのようなデータ汚染ツール）の知見を統合する。
• Mitraのステークホルダーのニーズの階層を用いてIR研究を再構築し、システム設計における社会的幸福と公平性へのシフトを提唱する。

実験結果

リサーチクエスチョン

• RQ1 生成的AIシステムは、情報エコシステムをどのように破壊し、その背後にあるメカニズムは何か？
• RQ2 AI駆動型情報アクセスにおける権力の集中、バイアスの拡大、環境劣化のシステム的リスクは何か？
• RQ3 生成的AIモデルの学習におけるデータ労働は、どのように倫理的に認識され、報酬を得るべきか？
• RQ4 集団的行動と代替ビジネスモデルは、情報検索における生成的AIの害を緩和するために果たす役割は何か？
• RQ5 IR研究とシステム開発は、技術的実現可能性だけではなく、社会的ニーズを中心に据えることで、どのように再中心化できるか？

主な発見

• 生成的AIは、コンテンツ汚染、検索エンジンの操作、知識伝達における「電話の伝言ゲーム」効果を通じて、情報エコシステムの混乱というシステム的リスクをもたらす。
• 計算リソースとデータの障壁により、大規模AI開発者に権力が集中しており、AIの説得力や整合性の問題が生じ、民主的かつ公平な情報アクセスを脅かす。
• 代表されない声の無視とバイアスの拡大は、データ労働の搾取と、トレーニングデータおよびモデル開発における代表性の欠如によって悪化する。
• LLMのトレーニングと展開に伴う環境的コスト、特に高リソース消費と廃棄物の発生は、持続可能性と生態的公平性に深刻な長期的リスクをもたらす。
• データ配分、データストライキ、集団的組織活動（例：ハリウッドストライキを模倣）などの緩和戦略は、データ生産者の力を高め、ステークホルダーのコントロールを回復させる上で有望である。
• IR研究における根本的な転換が求められる—Mitraのステークホルダーのニーズの階層のような枠組みを通じて、社会的ニーズを再中心化し、解放的で公平な情報アクセスの未来を描くこと。