[論文レビュー] Talking About Large Language Models

Murray Shanahan|arXiv (Cornell University)|Dec 7, 2022

Topic Modeling被引用数 72

ひとこと要約

本稿は、LLMs について議論する際の正確な言葉遣いを主張し、それらがより大きなシステムに組み込まれた強力な統計的系列予測子であることを明確にし、擬人化や信念・知識・意識の誤った帰属を避けるべきだと警鐘を鳴らす。

ABSTRACT

Thanks to rapid progress in artificial intelligence, we have entered an era when technology and philosophy intersect in interesting ways. Sitting squarely at the centre of this intersection are large language models (LLMs). The more adept LLMs become at mimicking human language, the more vulnerable we become to anthropomorphism, to seeing the systems in which they are embedded as more human-like than they really are. This trend is amplified by the natural tendency to use philosophically loaded terms, such as "knows", "believes", and "thinks", when describing these systems. To mitigate this trend, this paper advocates the practice of repeatedly stepping back to remind ourselves of how LLMs, and the systems of which they form a part, actually work. The hope is that increased scientific precision will encourage more philosophical nuance in the discourse around artificial intelligence, both within the field and in the public sphere.

研究の動機と目的

• LLMs がトークン予測と統計的分布の観点で実際に何を行っているかを明確にする。
• ベアボーンの LLM の能力と、それらが動作するより大きなシステムを区別する。
• LLMs および関連システムに対して信念・知識・意識を誤って帰属性することを警告する。

提案手法

• LLMs を、大規模なテキストコーパスから学習したトークン分布の生成モデルとして説明する。
• 人間の言語使用とLLMの振る舞いの違いを示すために、思考実験と例を用いる。
• LLM ベースのアプリケーションを可能にするプロンプトエンジニアリングとシステム埋め込みの役割について論じる。
• ベアの LLM と具現化された／システム的文脈の双方における信念・知識・推論の概念を分析する。
• 具現化と外部情報源が、LLMs に対する心的状態の帰属に与える影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 LLM ベースのシステムは本当に信念や知識を有しているのか。
• RQ2 LLMs は本当に推論できるのか、それともプロンプトとパターン完了を通じて推論を模倣しているだけなのか。
• RQ3 LLMs をより大きなシステムや具現化された文脈に埋め込むことは、意図・信念・理解の帰属にどのように影響するか。
• RQ4 外部情報源と具現化が、LLMs の出力を地に足つけさせる上での限界は何か。
• RQ5 LLMs とその能力を表現する際に、人間的想像を喚起する表現を用いる際に必要な注意は何か。

主な発見

• LLMs は語の列の統計的に高い確率の連続を生成する。これが核となる機能である。
• LLMs を大規模システムに埋め込み、プロンプトエンジニアリングを用いることで、基盤の系列予測メカニズムを変更することなく、多様なアプリケーションを可能にする。
• 厳密な人間的属性化（信念・知識・意識）は、ベアの LLM には適切ではないが、全体のシステムには別の解釈が適用される場合がある。
• 外部グラウンディング（例：Wikipedia、ツール）は、信念様の属性を素のモデルではなく、より広いシステムへと移す。
• 具現化はシステムをより人間らしくすることができるが、言語使用の基盤は人間の世界地に基づく理解とは異なる。