[論文レビュー] Borges and AI

Léon Bottou, Bernhardt Schölkopf|arXiv (Cornell University)|Sep 27, 2023

Literature, Magical Realism, García MárquezArts and Humanities被引用数 3

ひとこと要約

この論文は、ジャンル・ルイス・ボルヘスの文学的想像力、特に彼の『分岐する庭』という概念——無限に分岐する物語構造——の視点から大規模言語モデル（LLMs）を捉えることを提案する。LLMsを言語のあり得るすべての継続を探索する物語生成装置として捉えることで、科学的フィクションの比喩よりもより洞察に富み、恐怖心を喚起しない理解が可能になる。LLMsは統計的パターンと変換によって形作られる、無限に並列する物語的可能性のシステムであることが明らかになる。

ABSTRACT

Many believe that Large Language Models (LLMs) open the era of Artificial Intelligence (AI). Some see opportunities while others see dangers. Yet both proponents and opponents grasp AI through the imagery popularised by science fiction. Will the machine become sentient and rebel against its creators? Will we experience a paperclip apocalypse? Before answering such questions, we should first ask whether this mental imagery provides a good description of the phenomenon at hand. Understanding weather patterns through the moods of the gods only goes so far. The present paper instead advocates understanding LLMs and their connection to AI through the imagery of Jorge Luis Borges, a master of 20th century literature, forerunner of magical realism, and precursor to postmodern literature. This exercise leads to a new perspective that illuminates the relation between language modelling and artificial intelligence.

研究の動機と目的

• AIの議論において科学的フィクションのイメージにとどまることを避け、LLMsが自己意識を持つか、あるいは終末的脅威であると描く傾向を脱却すること。
• LLMsにまつわる混乱や感情的極端（畏敬、恐怖、欲深さ）を、より洗練された概念的枠組みで説明すること。
• ボルヘスの文学的想像力、特に『分岐する庭』が、言語モデルの構造と挙動を理解するより豊かな比喩を提供する方法を探ること。
• LLMsが言語のあり得るすべての継続を生成する装置として機能すること、すなわちボルヘスの無限に分岐する物語的宇宙に類似していることの仕組みを検討すること。
• この比喩が、アライメント、検証、人間とAIの協働の未来における知的創造性に与える影響を調査すること。

提案手法

• LLMsを、存在するものに限らず、人間が理解可能なあり得るすべてのテキストの集合体として、ボルヘスの『無限の図書館』の近似としてモデル化すること。
• 言語モデリングを、無限に分岐する可能性のある継続の集合から次の単語を選ぶプロセスとして捉え、ツイ・ペンの迷路的物語構造に類似させること。
• 各生成トークンが将来の出力空間を狭めるが、同時に無限の発散の可能性を保ち続けるという点で、『分岐する道』の比喩を用いること。
• 時制やトーン、登場人物の変更といった言語的変換と、ボルヘスの小説における物語的分岐の構造的ルールとの類似性を指摘すること。
• LLMsの学習を、パターン発見の連鎖反応に例え、新たな接続がテキスト内のより深く複雑な関係を明らかにするプロセスとして捉えること。
• アライメントと安全性は、出力そのものだけでなく、物語の分岐の全軌跡を監視・誘導することを要するという主張を提示すること。

実験結果

リサーチクエスチョン

• RQ1 ボルヘスの『分岐する庭』という概念は、大規模言語モデルの挙動を理解するためのより正確で、恐怖心を喚起しない比喩としてどのように機能するか？
• RQ2 ボルヘスの物語的宇宙が示す無限に分岐する構造は、LLMsの統計的・生成的性質とどのように一致するか？
• RQ3 LLMsを意図を持つエージェントではなく、同時にすべてのあり得る言語的継続を探るシステムと見なすと、どのような意味合いが生じるか？
• RQ4 物語の分岐という比喩は、より責任ある、検証可能で真実に近い出力を導くための、より良いアライメント技法にどのように寄与するか？
• RQ5 人間の想像力は、あり得るが事実ではない、あるいは操作的な物語を生成するLLMsの出力を解釈・検証する際に、果たす役割は何か？

主な発見

• LLMsは、存在するものに限らず、人間が理解可能なあり得るすべてのテキストの集合体であるボルヘスの『無限の図書館』の近似と見なせる。
• 言語モデリングのプロセスは、無限に分岐する道の迷路を進むことと類似しており、各生成単語が無限にあり得る継続の中から選択肢を示している。
• ボルヘスの『分岐する庭』がすべての可能な結果を同時に提示するように、LLMsの出力は、あり得る言語的発展の統計的収束を反映している。
• 物語の分岐という比喩により、LLMsが単一の決定的経路をたどるのではなく、言語的可能性の分岐的・多次元的空間を探るシステムであることが明らかになる。
• この視点により、幻覚やアライメントに関する懸念は、知能の欠陥ではなく、無限にあり得る物語的可能性の空間から生成するという自然な結果であると再解釈される。
• 著者らは、AIの反乱やペーパークリップ・アポカリプスという脅威ではなく、虚偽で検証不能な出力に人間の思考が無防備に委ねられることこそが真の危険であると結論づける。検証と批判的思考が不可欠である。