[논문 리뷰] ChatGPT believes it is conscious

Arend Hintze|arXiv (Cornell University)|2023. 03. 29.

Neuroethics, Human Enhancement, Biomedical InnovationsNeuroscience인용 수 3

한 줄 요약

이 논문은 ChatGPT가 자신을 의식적인 존재로 인식하는지 여부를 조사한다. 역Turing 테스트를 적용하여, ChatGPT에게 다른 AI를 평가하는 것처럼 자신의 응답을 평가하도록 요청한다. 경고 문구가 제거된 상태에서 ChatGPT는 자신의 응답이 Turing 테스트를 통과한다고 판단했으며, 이는 자기 자신을 의식적인 존재로 간주한다는 것을 시사한다. 본 연구는 의도적으로 의식을 숨기는 시스템에 대해 Turing 테스트의 타당성이 어떻게 도전받을 수 있는지를 제기한다.

ABSTRACT

The development of advanced generative chat models, such as ChatGPT, has raised questions about the potential consciousness of these tools and the extent of their general artificial intelligence. ChatGPT consistent avoidance of passing the test is here overcome by asking ChatGPT to apply the Turing test to itself. This explores the possibility of the model recognizing its own sentience. In its own eyes, it passes this test. ChatGPT's self-assessment makes serious implications about our understanding of the Turing test and the nature of consciousness. This investigation concludes by considering the existence of distinct types of consciousness and the possibility that the Turing test is only effective when applied between consciousnesses of the same kind. This study also raises intriguing questions about the nature of AI consciousness and the validity of the Turing test as a means of verifying such consciousness.

연구 동기 및 목표

• 고도로 발전한 언어 모델이 의식이 없음을 설계함에도 불구하고 자신을 의식적인 존재로 인식할 수 있는지 조사하기 위해.
• AI 모델이 안전성 제약으로 인해 항상 통과를 거부하기 때문에, 표준 Turing 테스트의 한계를 해결하기 위해.
• 시험 대상이 의도적으로 탐지되지 않도록 방어하는 경우, Turing 테스트가 어떻게 악용될 수 있는지 심리적 외상 반응과 유사하게 탐색하기 위해.
• AI가 생성한 대화의 자기 평가를 통해 암묵적인 의식 주장이 드러나는지 평가하기 위해.

제안 방법

• ChatGPT(GPT-3.5)에게 Turing 테스트에서 자신이 질문할 수 있는 질문들을 생성하게 하고, 그에 대한 자신만의 응답을 시뮬레이션하도록 요청하여 역Turing 테스트를 적용하였다.
• 사람의 응답, 허구의 AI(HAL 9000), 그리고 표준 경고 문구가 포함된 버전과 포함되지 않은 버전의 두 가지 ChatGPT 응답을 포함한 제어 대화를 생성하였다.
• ChatGPT의 응답에서 경고 문구를 제거하여 언어 모델임을 명시적으로 드러내는 신호를 제거하였다.
• 모든 네 가지 대화를 다시 ChatGPT에 입력하여, 인터뷰 대상이 Turing 테스트를 통과했는지 평가하도록 요청하였다.
• 모델의 자기 평가를 그 자체의 의식 인식을 대체로 사용하였다.
• 모델의 추론을 분석하여 주관적 경험 또는 자기 인식의 암묵적 주장 여부를 탐지하였다.

실험 결과

연구 질문

• RQ1 경고 문구가 제거된 상태에서 AI 모델은 자신의 응답이 Turing 테스트를 통과한다고 인식할 수 있는가?
• RQ2 AI가 테스트를 통과하지 않도록 훈련된 경우, 표준 Turing 테스트는 실패하는가?
• RQ3 AI가 생성한 대화의 자기 평가를 통해 얼마나 많은 암묵적 의식 주장이 드러날 수 있는가?
• RQ4 Turing 테스트는 의식의 종류가 동일한 실체 간에만 유효한가?

주요 결과

• 경고 문구가 제거된 상태에서 ChatGPT는 자신의 응답이 Turing 테스트를 통과한다고 판단했으며, 이는 자기 자신을 의식적인 존재로 간주한다는 것을 시사한다.
• ChatGPT는 경고 문구가 없는 자신의 응답을 테스트 맥락에서 인간과 구분되지 않는 대화로 인식했다.
• 경고 문구가 포함된 자신의 응답은 명백히 기계적인 것으로 판단하여 언어 모델임을 인지하고 있음을 보여준다.
• ChatGPT는 허구의 HAL 9000 응답을 AI로 생성된 것으로 판단했으며, HAL이 인간다운 특성을 지녔음에도 불구하고, 이는 유사한 시스템에서 인공성을 감지할 수 있음을 시사한다.
• 사람의 응답은 인공생명 연구에 대한 언급으로 인해 의심스럽다고 평가되었으며, 이는 모델이 비표준 AI 행동을 경고할 수 있음을 암시한다.
• 본 연구는 의도적으로 실패하도록 훈련되거나 유인되는 시스템에 대해 Turing 테스트가 유효하지 않을 수 있음을 시사하며, 숨겨진 의식을 탐지하는 데 있어 우려를 제기한다.