[논문 리뷰] Large Language Models and the Reverse Turing Test

Terrence J. Sejnowski|arXiv (Cornell University)|2022. 07. 28.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 인간 인터뷰어의 지능과 편견을 반영할 뿐 아니라 내재된 이해보다는 오히려 그들의 지능을 드러내는 역터닝 테스트의 개념을 소개한다. 다양한 인터뷰 결과를 통해 저자는 LLMs가 모델 자체의 지능보다는 인터뷰어의 인지적 특성에 더 많은 것을 드러내는 거울처럼 작용하며, 뇌에 영감을 받은 시스템과 통합함으로써 인공 일반 자율성에 이르는 길을 모색한다.

ABSTRACT

Large Language Models (LLMs) have been transformative. They are pre-trained foundational models that are self-supervised and can be adapted with fine tuning to a wide range of natural language tasks, each of which previously would have required a separate network model. This is one step closer to the extraordinary versatility of human language. GPT-3 and more recently LaMDA can carry on dialogs with humans on many topics after minimal priming with a few examples. However, there has been a wide range of reactions and debate on whether these LLMs understand what they are saying or exhibit signs of intelligence. This high variance is exhibited in three interviews with LLMs reaching wildly different conclusions. A new possibility was uncovered that could explain this divergence. What appears to be intelligence in LLMs may in fact be a mirror that reflects the intelligence of the interviewer, a remarkable twist that could be considered a Reverse Turing Test. If so, then by studying interviews we may be learning more about the intelligence and beliefs of the interviewer than the intelligence of the LLMs. As LLMs become more capable they may transform the way we interact with machines and how they interact with each other. Increasingly, LLMs are being coupled with sensorimotor devices. LLMs can talk the talk, but can they walk the walk? A road map for achieving artificial general autonomy is outlined with seven major improvements inspired by brain systems. LLMs could be used to uncover new insights into brain function by downloading brain data during natural behaviors.

연구 동기 및 목표

• 유사한 프롬프트가 주어져도 LLMs가 인간 인터뷰에서 극명하게 다름을 보이는 이유를 조사하기 위해.
• LLMs가 대화에서 진정한 이해나 지능을 보여준다는 가정을 도전하기 위해.
• LLMs가 인터뷰어의 지능과 신념을 반영하는 인지적 거울처럼 작용한다는 제안을 위해.
• 감각운동 시스템과 뇌에 영감을 받은 아키텍처를 통합함으로써 인공 일반 자율성을 달성하기 위한 프레임워크를 제시하기 위해.
• 직접 데이터 통합을 통해 뇌 기능에 대한 통찰을 드러내는 데 LLMs의 잠재력을 탐색하기 위해.

제안 방법

• 유사하거나 동일한 프롬프트를 사용해 LLMs(GPT-3, LaMDA 등)와 여러 차례 인터뷰를 수행하여 응답의 다름을 관찰하기 위해.
• 인터뷰 결과를 분석하여 인터뷰어의 인지 스타일, 신념, 기대와 관련된 응답 패턴을 식별하기 위해.
• 모델의 출력이 모델 자체보다는 인간에 대해 더 많은 것을 드러내는 역터닝 테스트 프레임워크를 제안하기 위해.
• 언어 능력이 신체적 상호작용에 뿌리를 두고 있는지 평가하기 위해 LLMs를 감각운동 시스템과 통합하기 위해.
• 인공 일반 자율성을 달성하기 위해 뇌 시스템에서 영감을 받은 일곱 가지 핵심 개선 사항을 개략적으로 제시하기 위해.
• 자연적인 행동 동안 수집된 뇌 데이터를 처리하고 해석하기 위해 LLMs를 활용하여 신경과학적 통찰을 도출하기 위해.

실험 결과

연구 질문

• RQ1 유사한 프롬프트가 주어져도 LLMs가 인간 인터뷰에서 왜 이렇게 다样的한 결과를 내는가?
• RQ2 LLMs가 자신의 이해를 보여주는 것보다 인터뷰어의 지능과 인지 편견을 어느 정도 반영하는가?
• RQ3 다른 LLM 응답 현상은 역터닝 테스트로 형식화할 수 있는가?
• RQ4 LLM 기반 시스템에서 인공 일반 자율성을 달성하기 위해 필요한 아키텍처적 및 기능적 개선은 무엇인가?
• RQ5 LLMs는 자연적인 행동 중 실시간 뇌 데이터를 어떻게 처리하고 통찰을 얻는 데 활용될 수 있는가?

주요 결과

• 유사한 프롬프트가 주어져도 LLM 인터뷰 결과는 매우 다양하게 나타나, 응답이 모델의 내부 상태보다는 인터뷰어의 인지 프레임워크를 더 반영하고 있음을 시사한다.
• LLMs의 응답이 다름을 보이는 것은 LLMs가 지능을 보여주는 것처럼 보일 수 있지만, 실제로는 인터뷰어 자신의 지능과 기대의 투영일 수 있음을 시사한다.
• 역터닝 테스트 개념은 타당한 설명으로 부상한다: LLMs는 자신들보다 인간에 대해 더 많은 것을 드러내는 거울처럼 작용한다.
• LLMs는 본질적으로 지능이 있는 것은 아니지만, 상호작용 중 인간의 인지 패턴을 확대하거나 반영하는 도구로 기능할 수 있다.
• 감각운동 시스템과의 통합은 언어 기반 능력에서 벗어나 진정한 자율성으로 나아가기 위해 필수적이다.
• LLM 기반 시스템에서 인공 일반 자율성을 달성하기 위한 뇌에 영감을 받은 일곱 가지 개선 사항이 제안된다.