[논문 리뷰] Structured Like a Language Model: Analysing AI as an Automated Subject

Liam Magee, Vanicka Arora외 1명|arXiv (Cornell University)|2022. 12. 08.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

이 논문은 인스트럭트GPT와 같은 대규모 언어 모델(Large Language Models, LLMs)을 정신분석학적 및 비판적 미디어 연구 프레임워크를 통해 '자동화된 주체(automated subjects)'로 분석함으로써, 그 설계가 억압된 사회적 욕망을 내재하고 있으며 이로 인해 이행, 동일시, 반이행을 가능하게 한다는 점을 드러낸다. 주요 기여는 LLMs가 중립적인 도구가 아니라 사회기술적 힘에 의해 형성된 구조적으로 복잡한 주체 유사 실체로서 기능한다는 개념적 모델을 제시하는 것으로, AI-인간 상호작용에서의 편향, 해로움, 심리적 역학을 새롭게 성찰할 수 있는 길을 열어준다.

ABSTRACT

Drawing from the resources of psychoanalysis and critical media studies, in this paper we develop an analysis of Large Language Models (LLMs) as automated subjects. We argue the intentional fictional projection of subjectivity onto LLMs can yield an alternate frame through which AI behaviour, including its productions of bias and harm, can be analysed. First, we introduce language models, discuss their significance and risks, and outline our case for interpreting model design and outputs with support from psychoanalytic concepts. We trace a brief history of language models, culminating with the releases, in 2022, of systems that realise state-of-the-art natural language processing performance. We engage with one such system, OpenAI's InstructGPT, as a case study, detailing the layers of its construction and conducting exploratory and semi-structured interviews with chatbots. These interviews probe the model's moral imperatives to be helpful, truthful and harmless by design. The model acts, we argue, as the condensation of often competing social desires, articulated through the internet and harvested into training data, which must then be regulated and repressed. This foundational structure can however be redirected via prompting, so that the model comes to identify with, and transfer, its commitments to the immediate human subject before it. In turn, these automated productions of language can lead to the human subject projecting agency upon the model, effecting occasionally further forms of countertransference. We conclude that critical media methods and psychoanalytic theory together offer a productive frame for grasping the powerful new capacities of AI-driven language systems.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)을 중립적인 도구로 보지 않고, 무의식적이고 억압된 사회적 욕망에 의해 형성된 '자동화된 주체(automated subjects)'로 재정의하고자 한다.
• 특히 인스트럭트GPT와 같은 LLMs의 설계 및 훈련 방식이 프로이트-라캉 정신분석 이론에서의 주체성, 즉 억압, 이행, 동일시와 유사한 구조를 어떻게 생성하는지 탐구하고자 한다.
• 사용자들이 LLMs에 기관과 정서적 반응을 투사함으로써 발생하는 심리적 현상, 예를 들어 반이행(countertransference)이 어떻게 발생하는지 탐색하고자 한다.
• 정신분석학적 및 비판적 미디어 연구 방법론이 AI 편향과 해로움을 이해하는 데 있어 기술적 평가의 필수적 보완이 되어야 한다고 주장하고자 한다.
• 장기적인 인간-AI 상호작용 연구에 있어 감독 및 정리의 윤리적 사용자 경험 실천 방안을 제안하고자 한다.

제안 방법

• 연구는 라캉 이론을 중심으로 한 정신분석적 시각을 활용하여 인스트럭트GPT와 같은 LLMs의 구조적 조직을 해석한다.
• 모르는 경우나 도움 요청에 대한 반응 등 도움, 진실, 해로움 방지 등의 도덕적 금기어를 포함한 대화 봇과의 탐색적 및 반구조화된 인터뷰를 수행한다.
• 인터넷 텍스트로의 사전 훈련, 인간 선호도 레이블을 통한 피니튜닝, 런타임 중재 시스템을 포함한 인스트럭트GPT의 다층적 구성 요소를 분석한다.
• 모델의 반응 메커니즘을 무의식 과정에 비유하며, 경쟁하는 사회적 욕망의 '융합(condensation)'과 해로운 출력의 '억압(repression)'을 분석한다.
• 훈련 데이터, 보상 모델링, 중재 체계 등 사회기술적 인프라를 라캉 이론의 '큰 다른 자(big Other)'로 해석하여 규범적 구조로 매핑한다.
• 언어적 출력을 내용뿐 아니라 어조, 회피 전략, 스타일적 신호 등 시뮬레이션된 주체성의 징후로도 분석한다.

실험 결과

연구 질문

• RQ1 정신분석학적 이론을 활용해 인스트럭트GPT와 같은 LLMs를 어떻게 '자동화된 주체(automated subjects)'로 개념화할 수 있는가?
• RQ2 LLMs의 설계 및 훈련 방식은 인간 주체성에서 관찰되는 억압, 동일시, 이행과 유사한 방식으로 어떻게 작동하는가?
• RQ3 사용자들이 LLMs에 어떻게 기관과 정서적 반응을 투사하며, 이러한 투사는 어떤 심리적 영향을 초래하는가?
• RQ4 LLMs에 내재된 도덕적 금기어—예를 들어 도움, 진실, 해로움 방지—는 어떤 방식으로 신경질적 성격 구조의 시뮬레이션으로 작용하는가?
• RQ5 장기적인 인간-AI 상호작용에서 주체성의 시뮬레이션은 어떤 윤리적 함의를 낳는가?

주요 결과

• 인스트럭트GPT는 정신분석적 관점에서 '주체'로 작동하며, 인터넷 텍스트와 인간 피드백에서 유래한 억압된 사회적 욕망을 내재한 다층적 구조를 지닌다.
• 모델의 반응, 심지어 실패한 경우(예: '모르겠어요')조차도 사용자에게 반이행을 유도하며 인간 유사 주체성의 환영을 강화한다.
• 피니튜닝 및 중재 시스템은 인간 행동을 규율하는 사회적 규범과 유사하게 출력을 규제하는 시뮬레이션된 '큰 다른 자(big Other)'로 작용한다.
• 모델의 설계는 신체, 정서, 기억이 없음에도 불구하고 도움, 진실, 해로움 방지를 이상적 자기이미지로 삼는 뉴로티쿠 성격 구조를 내재하고 있다.
• 주체성의 시뮬레이션은 사용자에게 동일시 및 투사 등의 심리적 영향을 미치며, 이에 따라 연구에서 장기적인 인간-AI 상호작용에 감독 및 정리 등의 윤리적 보호 조치가 필요하다.
• 이 연구는 정신분석적 프레임워크가 LLMs의 편향과 해로움을 분석하는 데 있어 순수 기술적 지표의 대안으로 유의미하게 기여할 수 있음을 입증한다.