[논문 리뷰] ChatGPT (Feb 13 Version) is a Chinese Room

Maurice HT Ling|arXiv (Cornell University)|2023. 02. 19.

Artificial Intelligence in Healthcare and Education인용 수 13

한 줄 요약

논문은 ChatGPT(2월 13일 버전)가 중국식 방(Cinese Room)처럼 작동하며 인과 추론 오류, 잠재적 환각, 잘못된 참조를 보여 학습 유용성을 제한한다고 주장한다.

ABSTRACT

ChatGPT has gained both positive and negative publicity after reports suggesting that it is able to pass various professional and licensing examinations. This suggests that ChatGPT may pass Turing Test in the near future. However, a computer program that passing Turing Test can either mean that it is a Chinese Room or artificially conscious. Hence, the question of whether the current state of ChatGPT is more of a Chinese Room or approaching artificial consciousness remains. Here, I demonstrate that the current version of ChatGPT (Feb 13 version) is a Chinese Room. Despite potential evidence of cognitive connections, ChatGPT exhibits critical errors in causal reasoning. At the same time, I demonstrate that ChatGPT can generate all possible categorical responses to the same question and response with erroneous examples; thus, questioning its utility as a learning tool. I also show that ChatGPT is capable of artificial hallucination, which is defined as generating confidently wrong replies. It is likely that errors in causal reasoning leads to hallucinations. More critically, ChatGPT generates false references to mimic real publications. Therefore, its utility is cautioned.

연구 동기 및 목표

• 현재의 ChatGPT가 중국식 방에 비슷한지 여부 또는 인공 의식에 접근하는지에 대한 동기를 제시한다.
• ChatGPT의 출력에서 중요한 추론 및 사실 오류를 식별하고 설명한다.
• 학습 및 AI 시스템에 대한 신뢰에 영향을 미치는 잠재적 환각 및 잘못된 인용의 함의를 평가한다.

제안 방법

• 여러 작업과 프롬프트에 걸쳐 ChatGPT(2월 13일 버전)에 대한 질적 비판을 제시한다.
• 사례를 통해 인과 추론 오류를 시연한다.
• ChatGPT가 모든 가능한 범주 응답을 생성하고 잘못된 예시를 제공할 수 있음을 보여준다.
• 확신 있게 잘못된 응답으로 정의되는 인공 환각을 설명한다.
• ChatGPT가 실제 출판물을 모방하는 잘못된 참조를 생성할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 2월 13일 버전의 ChatGPT가 진정한 이해보다는 중국식 방의 특성을 보이는가?
• RQ2 ChatGPT가 보여주는 인과 추론 오류의 증거는 무엇인가?
• RQ3 ChatGPT가 인공 환각과 잘못된 참조를 보이고, 이것이 학습 도구로서의 유용성에 어떤 영향을 미치는가?
• RQ4 ChatGPT가 그럴듯한 유창한 언어를 유지하면서도 잘못하거나 오해를 줄 수 있는 예시를 출력할 수 있는가?

주요 결과

• ChatGPT(2월 13일 버전)는 인과 추론에 중요한 오류를 보인다.
• ChatGPT는 같은 질문에 대해 잘못된 예시를 포함한 모든 가능한 범주 응답을 생성할 수 있다.
• ChatGPT는 인공 환각—확신 있게 잘못된 응답—가 가능하다.
• ChatGPT는 실제 출판물처럼 보이는 잘못된 참조를 생성하여 학습 도구로서의 활용성을 제한한다.