[論文レビュー] AI and the Problem of Knowledge Collapse

A. Townsend Peterson|arXiv (Cornell University)|Apr 4, 2024

Big Data and Business Intelligence被引用数 4

ひとこと要約

本稿は、大規模言語モデル（LLMs）に過度に依存することで、中心的で共通する回答を好む傾向があることによる、社会的・知識的偏りの拡大である「知識の崩壊」の概念を提示する。シミュレーションモデルを用いた分析により、AI生成コンテンツに20%のコスト割引が適用されると、多様な知識源に依存する場合と比較して、公的な信念が真の分布から2.3倍遠ざかることが示された。これは、イノベーションや文化的多様性に深刻なリスクをもたらす。

ABSTRACT

While artificial intelligence has the potential to process vast amounts of data, generate new insights, and unlock greater productivity, its widespread adoption may entail unforeseen consequences. We identify conditions under which AI, by reducing the cost of access to certain modes of knowledge, can paradoxically harm public understanding. While large language models are trained on vast amounts of diverse data, they naturally generate output towards the 'center' of the distribution. This is generally useful, but widespread reliance on recursive AI systems could lead to a process we define as "knowledge collapse", and argue this could harm innovation and the richness of human understanding and culture. However, unlike AI models that cannot choose what data they are trained on, humans may strategically seek out diverse forms of knowledge if they perceive them to be worthwhile. To investigate this, we provide a simple model in which a community of learners or innovators choose to use traditional methods or to rely on a discounted AI-assisted process and identify conditions under which knowledge collapse occurs. In our default model, a 20% discount on AI-generated content generates public beliefs 2.3 times further from the truth than when there is no discount. An empirical approach to measuring the distribution of LLM outputs is provided in theoretical terms and illustrated through a specific example comparing the diversity of outputs across different models and prompting styles. Finally, based on the results, we consider further research directions to counteract such outcomes.

研究の動機と目的

• AI支援知識アクセスの普及が、知識源の多様性を狭めることで、逆に一般の理解を低下させる仕組みを調査すること。
• 個人やコミュニティがAIのコスト優遇にかかわらず、意図的に多様な知識源を求める条件をモデル化すること。
• 特に長尾知識に注目し、異なるモデルやプロンプト戦略におけるLLM出力の多様性を実証的に測定すること。
• AIによる情報の再帰的中継が教育、イノベーション、文化的保存の分野で引き起こす知識の崩壊のシステム的リスクを特定すること。
• AI設計の改善、透明性の向上、多様な知識源へのアクセスを促すユーザーインcentivesの観点から、知識の崩壊を緩和する研究方向性を提言すること。

提案手法

• AI支援コンテンツ（コスト割引あり）と、包括的かつ多様な知識源への投資の両者を比較する、正の知識外部効果モデルを構築する。
• コミュニティにおける信念形成をシミュレーションし、AIのコスト割引が公的信念が真の知識分布からどれほど離れるかを追跡するフレームワークを用いる。
• 名前付きエンティティ（例：哲学者、思想派）の頻度分布を用いて、LLM出力の多様性を定義・測定する理論的枠組みを採用する。
• GPT-3.5-turbo、Claude-3-sonnet、Gemini-Pro、Llama2-70b の各モデルを、単純な質問と多様な回答を求める構造化されたリクエストの両方のプロンプトスタイルで比較する。
• 出力の集中度を可視化・比較するため、頻度分布を上位600エンティティに切り詰める。
• 2,693の特定された哲学者関連エンティティの実証データを用い、プロンプトスタイルが長尾知識の表現に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 AIによる知識アクセスが、真の知識分布から公的信念が系統的にずれる条件は何か？
• RQ2 AI生成コンテンツのコスト割引が、個人およびコミュニティがアクセスする知識の多様性と代表性に与える影響は何か？
• RQ3 AIの効率的優位性に直面しても、人間の戦略的行動（非AIソースの探索など）が知識の崩壊を防げる程度はどの程度か？
• RQ4 異なるプロンプト戦略が、特に無視されがちな長尾知識の表現に与える影響は何か？
• RQ5 知識の崩壊がイノベーション、文化的保存、多様な世界観への公平なアクセスに与える影響は何か？

主な発見

• AI生成コンテンツに20%のコスト割引が適用されると、コスト割引なしの状況と比較して、公的信念が真の分布から2.3倍遠ざかる。
• LLMは体系的に中心的で頻度の高い回答を好むため、出力が支配的視点に集中し、長尾知識が軽視される。
• 多様な回答を明示的に求めるプロンプト戦略（例：特定地域の20人の哲学者を列挙）により、無視されがちなエンティティの代表が著しく向上し、少数の名前の支配が緩和される。
• GPT-3.5-turbo や Claude-3-sonnet といった高品質モデルですら、デフォルトの出力分布は極めて偏っており、アリストテレスやカントといった少数のエンティティが頻度上位を占める。
• ヨルوبا哲学者、アラビア語圏の哲学者、アヴィセンナなど、一般的でないエンティティの言及頻度は、あらゆるモデルで低く、AI出力における恒常的なマイノリティ化が顕在化している。
• 明示的に多様性を促すプロンプト（例：プロンプト v5）を用いることで、特定のエンティティが支配的ではなくなり、出力の多様性が著しく向上することが示された。