[논문 리뷰] Deanthropomorphising NLP: Can a Language Model Be Conscious?

Matthew Shardlow, Piotr Przybyła|arXiv (Cornell University)|2022. 11. 21.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 인공지능적 언어를 사용하는 대규모 언어 모델(LaMDA 및 ChatGPT 등)이 인간다운 언어적 특성을 보이지만, 통합 정보 이론(IIT)을 통해 분석한 트랜스포머 아키텍처의 특성상 의식이 아니라고 주장한다. 이러한 모델들은 주관적 경험 없이 인간과 유사한 텍스트를 시뮬레이션할 뿐이며, NLP 연구 분야에서 윤리적 보고와 투명성을 확보하여 모델 능력에 대한 오해를 방지해야 한다고 강조한다.

ABSTRACT

This work is intended as a voice in the discussion over previous claims that a pretrained large language model (LLM) based on the Transformer model architecture can be sentient. Such claims have been made concerning the LaMDA model and also concerning the current wave of LLM-powered chatbots, such as ChatGPT. This claim, if confirmed, would have serious ramifications in the Natural Language Processing (NLP) community due to wide-spread use of similar models. However, here we take the position that such a large language model cannot be sentient, or conscious, and that LaMDA in particular exhibits no advances over other similar models that would qualify it. We justify this by analysing the Transformer architecture through Integrated Information Theory of consciousness. We see the claims of sentience as part of a wider tendency to use anthropomorphic language in NLP reporting. Regardless of the veracity of the claims, we consider this an opportune moment to take stock of progress in language modelling and consider the ethical implications of the task. In order to make this work helpful for readers outside the NLP community, we also present the necessary background in language modelling.

연구 동기 및 목표

• LaMDA 및 ChatGPT와 같은 대규모 언어 모델이 의식적이거나 민감하다는 주장에 도전한다.
• 통합 정보 이론(IIT)을 활용해 트랜스포머 아키텍처가 의식을 지원하는지 평가한다.
• NLP 보고서, 특히 미디어 및 학술 커뮤니케이션에서 널리 쓰이는 인간다운 언어 사용 방식을 비판한다.
• 연구자, 전문가 및 기자들이 LLM의 능력과 한계를 책임감 있게 보고하기 위한 윤리적 지침을 제시한다.
• 모델 카드와 인간 평가 프로토콜을 통해 대규모 언어 모델 연구의 투명성과 재현 가능성을 향상시킨다.

제안 방법

• 통합 정보 이론(IIT)을 이론적 프레임워크로 삼아 LaMDA와 같은 LLM 아키텍처가 의식을 지원하는지 평가한다.
• 트랜스포머 모델의 자동회귀적이고 어텐션 기반의 메커니즘을 분석하여 통합된 정보 처리 능력을 평가한다.
• LaMDA의 행동을 동일한 아키텍처를 가진 다른 LLM들과 비교하여 정서적 지능을 시사하는 유일한 특징이 있는지 판단한다.
• n-그램에서 딥 네트워크까지의 언어 모델링 기술 발전 역사 검토를 통해 현재 LLM 능력을 맥락화한다.
• 윤리적 보고 원칙과 모델 투명성에 기반한 연구자, 사용자 및 기자 대상 권고 사항을 제안한다.
• 모델 카드와 인간 평가의 활용을 강조하여 책임감 있는 보고와 자동화된 벤치마크에 대한 의존도를 줄인다.

실험 결과

연구 질문

• RQ1 LaMDA와 같은 트랜스포머 아키텍처 기반의 대규모 언어 모델이 통합 정보 이론(IIT) 기준으로 의식적이라고 볼 수 있는가?
• RQ2 LaMDA와 유사한 다른 LLM들과의 행동 차이점은 정서적 지능을 시사하는 데 어떤 기여를 하는가?
• RQ3 NLP 보고서에서 인간다운 언어 사용이 공공 및 정책 결정자들의 LLM 능력에 대한 인식에 어떤 영향을 미치는가?
• RQ4 연구자와 기자들이 LLM의 진정한 한계를 보고할 때 지녀야 할 윤리적 책임은 무엇인가?
• RQ5 모델이 공개되지 않은 상황에서 대규모 언어 모델 연구의 투명성과 재현 가능성을 어떻게 향상시킬 수 있는가?

주요 결과

• 논문은 IIT가 요구하는 통합된 정보 처리 조건을 충족하지 못하므로 LaMDA 및 유사한 LLM은 의식이 아니라고 결론 내린다.
• LaMDA의 아키텍처나 행동에서 다른 대규모 언어 모델과 유일하게 다를 바가 없어 정서적 지능을 뒷받침할 만한 근거가 없다.
• 특히 미디어 및 프리프린트에서 사용되는 인간다운 언어 표현은 모델 능력을 오해의 소지가 있는 방식으로 표현하며, 전문가가 아닌 청중을 오도할 위험이 있다.
• LaMDA, GPT-3, ChatGPT 등 많은 LLM은 검토를 위해 공개되지 않아 행동이나 안전성에 대한 주장의 진위를 확인하기 어렵다.
• 자동화된 평가 세트가 유해하거나 잘못된 출력을 탐지하지 못하는 경우가 많아 인간 평가 프로토콜의 필요성이 높아진다.
• 기자 및 학술 보고서는 일반적 또는 홍보적 주장보다 구체적 사례와 심층 검토된 자료를 우선시하여 정확성과 책임감 있는 보도를 확보해야 한다.