[論文レビュー] Are Language Models More Like Libraries or Like Librarians? Bibliotechnism, the Novel Reference Problem, and the Attitudes of LLMs

Harvey Lederman, Kyle Mahowald|arXiv (Cornell University)|Jan 10, 2024

Digital Humanities and Scholarship被引用数 9

ひとこと要約

本論は bibliotechnism を擁護し、LLMs が入力の因果性を通じて導出的に意味のある新規テキストを生成できることを示す一方で、この見解に異議を唱え、代理性に基づく解釈を動機づける Novel Reference Problem を提起する。

ABSTRACT

Are LLMs cultural technologies like photocopiers or printing presses, which transmit information but cannot create new content? A challenge for this idea, which we call bibliotechnism, is that LLMs generate novel text. We begin with a defense of bibliotechnism, showing how even novel text may inherit its meaning from original human-generated text. We then argue that bibliotechnism faces an independent challenge from examples in which LLMs generate novel reference, using new names to refer to new entities. Such examples could be explained if LLMs were not cultural technologies but had beliefs, desires, and intentions. According to interpretationism in the philosophy of mind, a system has such attitudes if and only if its behavior is well explained by the hypothesis that it does. Interpretationists may hold that LLMs have attitudes, and thus have a simple solution to the novel reference problem. We emphasize, however, that interpretationism is compatible with very simple creatures having attitudes and differs sharply from views that presuppose these attitudes require consciousness, sentience, or intelligence (topics about which we make no claims).

研究の動機と目的

• bibliotechnism の下で LLM の出力が人間の入力から意味的に派生しているかを評価する。
• n-gram および高次モデルから、新規で導出的に意味のあるテキストが生じうることを示す。
• LLMs がトレーニングデータに基づかない参照を創出する Novel Reference Problem を導入し、分析する。
• 意味への影響を、RLHF、作成者の意図、プロンプト、読者の解釈といった潜在的な対応策を評価する。

提案手法

• n-gram のおもちゃモデルを用いて、派生的意味と PrimaryData との因果関係を例示する。
• 単語 n-gram から高次の n-gram へ拡張し、導出的に意味のある複雑な表現を示す。
• 可読性は高次の特徴であり、新規 GeneratedText に意味を転送し得ると主張する。
• LLMs が新規参照を生み出す方法と、それが bibliotechnism に及ぼす含意を論じる。
• RLHF、ユーザー/作成者の意図、読者中心の意味論を通じた bibliotechnism の潜在的な防御を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMs は導出的に意味のある記述を、複雑な表現を含めて生み出すことができるか？
• RQ2 LLMs はトレーニングデータに基づかない新規参照を生成できるか、そしてそれは導出的意味にとって何を意味するか？
• RQ3 新規参照の存在は LLMs に信念・欲望・意図を帰属させることを支持するか？
• RQ4 どのような対応（RLHF、作成者/ユーザーの意図、読者の解釈）が bibliotechnism を維持するか、あるいは挑戦するか？

主な発見

• Unigram モデルは導出的に意味のある語を生み出すことはできるが、導出的に意味のある複雑な表現を生成するには苦労する。
• 高次 n-gram モデルは PrimaryData からのコピーと可読性の結合により、導出的に意味のある長いテキストを生成できる。
• LLMs は PrimaryData に基づかない新規参照（例: Marion Starlight）を生成できることがあり、純粋に派生的な説明を挑戦する。
• Novel Reference Problem は、特定の出力に対して bibliotechnism が代理性ベースの説明より弱い可能性を示唆する。
• 読者志向の metamSemantic アプローチは助けになる可能性があるが、意図された意味と可読性を区別するうえで課題に直面する。