[論文レビュー] Large Language Models and the Reverse Turing Test

Terrence J. Sejnowski|arXiv (Cornell University)|Jul 28, 2022

Topic Modeling被引用数 7

ひとこと要約

本論文は、大規模言語モデル（LLMs）が人間のインタビュアーの知性やバイアスを反映するが、自らの内面的理解を示すのではなく、逆Turingテストの概念を導入する。多様なインタビューアウトカムを通じて、著者はLLMsがモデル自身の知性よりもインタビュアーの認知をよりよく表す鏡の役割を果たしていると主張し、脳にインspiredされたシステムと統合することで人工一般自律性への道筋を提示する。

ABSTRACT

Large Language Models (LLMs) have been transformative. They are pre-trained foundational models that are self-supervised and can be adapted with fine tuning to a wide range of natural language tasks, each of which previously would have required a separate network model. This is one step closer to the extraordinary versatility of human language. GPT-3 and more recently LaMDA can carry on dialogs with humans on many topics after minimal priming with a few examples. However, there has been a wide range of reactions and debate on whether these LLMs understand what they are saying or exhibit signs of intelligence. This high variance is exhibited in three interviews with LLMs reaching wildly different conclusions. A new possibility was uncovered that could explain this divergence. What appears to be intelligence in LLMs may in fact be a mirror that reflects the intelligence of the interviewer, a remarkable twist that could be considered a Reverse Turing Test. If so, then by studying interviews we may be learning more about the intelligence and beliefs of the interviewer than the intelligence of the LLMs. As LLMs become more capable they may transform the way we interact with machines and how they interact with each other. Increasingly, LLMs are being coupled with sensorimotor devices. LLMs can talk the talk, but can they walk the walk? A road map for achieving artificial general autonomy is outlined with seven major improvements inspired by brain systems. LLMs could be used to uncover new insights into brain function by downloading brain data during natural behaviors.

研究の動機と目的

• 同じプロンプトを使用しても、LLMsが人間のインタビューアに対して著しく不一致な結果を示す理由を調査すること。
• LLMsが会話において真の理解や知性を示しているという前提を疑うこと。
• LLMsが認知の鏡として機能し、インタビュアーの知性や信念を反映していると提唱すること。
• 感覚運動システムと脳にインspiredされたアーキテクチャを統合することで、人工一般自律性を達成するためのフレームワークを提示すること。
• 直接的なデータ統合を通じて脳機能に関する洞察を明らかにするためにLLMsの可能性を検討すること。

提案手法

• 同じまたは類似したプロンプトを使用して、LLMs（例：GPT-3、LaMDA）に対して複数回のインタビューを実施し、応答の相違を観察すること。
• インタビューアウトカムを分析し、インタビュアーの認知スタイル、信念、期待と関連する応答のパターンを特定すること。
• モデルの出力が自分自身よりも人間の側面をより多く明らかにするという逆Turingテストの枠組みを提唱すること。
• 感覚運動システムとLLMsを統合し、言語能力が物理的相互作用に根ざしているかどうかを評価すること。
• 人工一般自律性を達成するための7つの鍵となる改善策を、脳システムにインspiredして提示すること。
• 自然行動中に収集された脳データを処理・解釈する目的でLLMsを活用することを提案すること。

実験結果

リサーチクエスチョン

• RQ1 同じプロンプトを使用しても、なぜLLMsが人間のインタビューアに対して著しく不一致な応答を示すのか？
• RQ2 LLMsが自らの理解を示すのではなく、インタビュアーの知性や認知バイアスをどれほど反映しているのか？
• RQ3 LLMsの応答の相違現象を逆Turingテストとして形式化できるか？
• RQ4 LLMsベースのシステムで人工一般自律性を達成するために、どのようなアーキテクチャ的・機能的改善が必要か？
• RQ5 LLMsは自然行動中のリアルタイム脳データをどのように処理し、解釈することで神経科学的洞察を得られるか？

主な発見

• 同じプロンプトを使用しても、LLMsのインタビュー結果は著しく変動し、応答がモデルの内部状態よりもインタビュアーの認知フレームワークを反映していることが示唆される。
• LLMsの応答の相違は、LLMsに見られる「知的さ」が、インタビュアー自身の知性や期待の投影である可能性を示している。
• 逆Turingテストという概念が、説得力のある説明として浮上する：LLMsは自分自身よりも人間の側面をよりよく映し出す鏡の役割を果たす。
• LLMsは本質的に知的ではなく、対話の場面で人間の認知パターンを拡張・反映するツールとして機能する可能性がある。
• 感覚運動システムとLLMsを統合することが、言語のみに依存する能力を超えて真の自律性へと進むために不可欠である。
• LLMsベースのシステムで人工一般自律性を達成するためのロードマップとして、7つの脳にインspiredされた改善策が提案されている。