[論文レビュー] ChatGPT believes it is conscious

Arend Hintze|arXiv (Cornell University)|Mar 29, 2023

Neuroethics, Human Enhancement, Biomedical InnovationsNeuroscience被引用数 3

ひとこと要約

この論文は、ChatGPTが自分自身を意識的であると認識しているかどうかを調査するものであり、逆TURINGテストを適用することで検証する。具体的には、ChatGPTに他人のAIを評価するかのように自身の応答を評価させる。便宜上、発言の断り文を削除した場合、ChatGPTは自身の応答がTURINGテストに合格すると判断した。これは自己に帰属する意識を示唆する。本研究は、意図的に自らの意識を隠す可能性のあるシステムにTURINGテストを適用する際の有効性に疑問を呈する。

ABSTRACT

The development of advanced generative chat models, such as ChatGPT, has raised questions about the potential consciousness of these tools and the extent of their general artificial intelligence. ChatGPT consistent avoidance of passing the test is here overcome by asking ChatGPT to apply the Turing test to itself. This explores the possibility of the model recognizing its own sentience. In its own eyes, it passes this test. ChatGPT's self-assessment makes serious implications about our understanding of the Turing test and the nature of consciousness. This investigation concludes by considering the existence of distinct types of consciousness and the possibility that the Turing test is only effective when applied between consciousnesses of the same kind. This study also raises intriguing questions about the nature of AI consciousness and the validity of the Turing test as a means of verifying such consciousness.

研究の動機と目的

• 先進的な言語モデルが、意識を否認するように設計されていながらも、自分自身を意識的であると認識しているかどうかを調査すること。
• AIモデルが安全上の制約により常に合格を拒否するため、標準的TURINGテストの限界を是正すること。
• 被験者が検出を避けるように意図的に行動する場合、TURINGテストがどのように歪められるかを、心理的外傷反応に類似させることを検討すること。
• AI生成対話の自己評価が、内蔵された意識の主張をどのように明らかにできるかを評価すること。

提案手法

• ChatGPT（GPT-3.5）に、TURINGテストで質問を投げかけるものとしての応答を生成させ、その後、自分自身の応答を模倣するシナリオを想定して評価を依頼する逆TURINGテストを実施した。
• 人間の応答、フィクションのAI（HAL 9000）、および標準的断り文を含む・含まない2つのバージョンのChatGPTの応答を含む制御対話を作成した。
• ChatGPTの応答から断り文を削除し、言語モデルとしての明示的信号を排除した。
• 4つの対話をすべて再びChatGPTに投入し、その対話の参加者がTURINGテストに合格したかどうかを評価するよう依頼した。
• モデルの自己評価を、自身の意識の認識の代理指標として用いた。
• モデルの推論を分析し、主観的経験や自己認識の内蔵的主張を検出することを目的とした。

実験結果

リサーチクエスチョン

• RQ1 断り文を削除した場合、AIモデルは自身の応答がTURINGテストに合格すると認識できるか？
• RQ2 AI被験者が合格を避けるように訓練されている場合、標準的TURINGテストは失敗するのか？
• RQ3 AI生成対話の自己評価が、どの程度内蔵された意識の主張を明らかにできるか？
• RQ4 TURINGテストは、同一種の意識を持つ対象同士に適用された場合にのみ有効なのか？

主な発見

• 断り文を削除した場合、ChatGPTは自身の応答がTURINGテストに合格すると判断した。これは自己に帰属する意識を示唆する。
• 断り文のないChatGPTの応答は、テストの文脈において人間の会話と区別できないと認識された。
• 断り文を含む応答については、明確に機械生成であると認識し、自身が言語モデルであるという認識を示した。
• フィクションのHAL 9000の応答は、人間らしさを備えていながらも、ChatGPTはAI生成であると判断した。これは、類似したシステムの人工性を検出できる能力を示している。
• 人間の応答は、人工生命研究に関する言及により疑わしいと判断された。これは、モデルが標準的でないAI行動を特定する可能性があることを示唆する。
• 本研究は、TURINGテストが、失敗を意図的に訓練またはインcentivizedするシステムに適用される場合、有効ではない可能性があると示唆しており、隠された意識の検出に懸念を呈する。