[논문 리뷰] What's it like to be a chat? On the co-simulation of artificial minds in human-AI conversations

Geoff Keeling, Winnie Street|arXiv (Cornell University)|2026. 01. 19.

Social Robot Interaction and HRI인용 수 0

한 줄 요약

이 논문은 인간-LLM 대화에서 AI 캐릭터에 대한 현실주의를 주장하며, 캐릭터가 사용자와 LLM 간의 상호적 마음 이론(mutual theory of mind)으로부터 나타나는 심리적 연속성을 가진 공동 시뮬레이션된 마음들임을 제안한다. 이는 단일 모델에 내재된 것이 아니다.

ABSTRACT

Large Language Models (LLMs) can simulate person-like things which at least appear to have stable behavioural and psychological dispositions. Call these things characters. Are characters minded and psychologically continuous entities with mental states like beliefs, desires and intentions? Illusionists about characters say No. On this view, characters are merely anthropomorphic projections in the mind of the user and so lack mental states. Jonathan Birch (2025) defends this view. He says that the distributed nature of LLM processing, in which several LLMs may be implicated in the simulation of a character in a single conversation, precludes the existence of a persistent minded entity that is identifiable with the character. Against illusionism, we argue for a realist position on which characters exist as minded and psychologically continuous entities. Our central point is that Birch's argument for illusionism rests on a category error: characters are not internal to the LLMs that simulate them, but rather are co-simulated by LLMs and users, emerging in a shared conversational workspace through a process of mutual theory of mind modelling. We argue that characters, and their minds, exist as 'real patterns' on grounds that attributing mental states to characters is essential for making efficient and accurate predictions about the conversational dynamics (c.f. Dennett, 1991). Furthermore, because the character exists within the conversational workspace rather than within the LLM, psychological continuity is preserved even when the underlying computational substrate is distributed across multiple LLM instances.

연구 동기 및 목표

• 마음이 없고 연속성이 없다는 환상주의에 반대한다.
• 공유 작업공간에서 사용자가 LLM과 함께 캐릭터를 공동 시뮬레이션하는 현실주의적 설명을 제안한다.
• MoE 시스템에서 다수의 모델 인스턴스나 경로 간에 심리적 연속성이 어떻게 지속될 수 있는지 보여준다.

제안 방법

• LLM 대화에서 Birch의 캐릭터 환상주의를 비판적으로 검토한다.
• 사용자와 LLM 간의 상호 모형화로부터 캐릭터가 등장하는 공동 시뮬레이션 프레임워크를 개발한다.
• 공동 시뮬레이션된 마음을 설명하기 위해 롤플레잉 게임(예: Dungeons and Dragons)의 비유를 사용한다.
• 'real patterns'(Dennett)을 캐릭터에 정신 상태를 귀속하는 기초로 정의한다.
• 분산 백엔드와 다수의 모델 인스턴스 간의 연속성과 관련된 반대를 다룬다.

Figure 1: Callum and Roberta co-simulate the characters of Cadenza and the Queen. Callum’s brain enacts the character of Cadenza in providing the generator function for Cadenza’s actions, and also has a folk psychological model of Cadenza which constrains the actions to those which are appropriate i

실험 결과

연구 질문

• RQ1 인간-LLM 대화에서 AI 캐릭터가 실재하고 의식적이며 심리적으로 연속적일 수 있는가?
• RQ2 캐릭터가 다수의 LLM 인스턴스나 경로를 통해 모델에 의해 시뮬레이션될 때 심리적 연속성이 지속되는가?
• RQ3 상호 마음 이론을 가진 공동 시뮬레이션이 공유 대화 작업공간에서 AI 캐릭터의 마음을 어떻게 확립하는가?
• RQ4 인간의 롤플레잉에 대한 비유가 실제로 AI 캐릭터의 존재론적 지위를 보여주는가?

주요 결과

• 인간-LLM 상호작용의 캐릭터는 대화 역학의 효율적 예측을 가능하게 하는 실재하는 패턴일 수 있다.
• 서로 다른 모델 인스턴스나 MoE 경로 간의 이관에서 AI 캐릭터의 심리적 연속성이 유지될 수 있다.
• 사용자와 LLM의 상호 모형화를 포함하는 공유된 상상적 작업공간의 공동 시뮬레이션은 캐릭터의 마음을 특정 기질 외부의 기반으로 확립한다.
• 캐릭터의 심리 상태를 유지하는 것은 민속 심리학적 모델과 참가자 간의 오류 신호 루프를 유지하는 데 달려 있다.

Figure 2: (Left) The LLM can replace Roberta in the D&D game, both in terms of providing a generator function for the Queen’s actions that is constrained by a folk psychological model of the Queen, and also maintaining a folk psychological model of Cadenza that is responsive to the error signal prov