[논문 리뷰] Language Models as Agent Models

Jacob Andreas|arXiv (Cornell University)|2022. 12. 03.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 언어 모델(LMs)이 다음 단어 예측 과정에서 믿음, 갈망, 목표의 근사치 표현을 추론하고 활용함으로써 암시적으로 에이전트의 의도를 모델링한다고 주장한다. 제한된 훈련 데이터와 에이전트 상태에 대한 직접적 접근 없이도 LMs는 의사소통 의도를 시뮬레이션하는 잠재적 능력을 보이며, 일관되고 목표 지향적인 언어 생성을 가능하게 한다—다만 잘못된 의도 모델링과 관련된 뚜렷한 실패 유형이 존재한다.

ABSTRACT

Language models (LMs) are trained on collections of documents, written by individual human agents to achieve specific goals in an outside world. During training, LMs have access only to text of these documents, with no direct evidence of the internal states of the agents that produced them -- a fact often used to argue that LMs are incapable of modeling goal-directed aspects of human language production and comprehension. Can LMs trained on text learn anything at all about the relationship between language and use? I argue that LMs are models of intentional communication in a specific, narrow sense. When performing next word prediction given a textual context, an LM can infer and represent properties of an agent likely to have produced that context. These representations can in turn influence subsequent LM generation in the same way that agents' communicative intentions influence their language. I survey findings from the recent literature showing that -- even in today's non-robust and error-prone models -- LMs infer and use representations of fine-grained communicative intentions and more abstract beliefs and goals. Despite the limited nature of their training data, they can thus serve as building blocks for systems that communicate and act intentionally.

연구 동기 및 목표

• 언어 모델이 내부 상태에 대한 직접적 접근 없이도 텍스트만으로 의사소통 의도를 추론하고 표현할 수 있는지 조사하는 것.
• 이러한 추론된 에이전트 표현이 언어 생성에 어떻게 영향을 미치는지 분석하여, 인간의 의도가 말하기를 어떻게 이끄는지와 유사한 방식을 밝혀내는 것.
• 믿음, 갈망, 의도의 잘못된 모델링에서 기인하는 언어 모델의 실패 유형을 특정하고 분석하는 것.
• 향후 에이전트 유사 시스템을 위한 기반으로 언어 모델을 활용할 잠재력을 탐색하는 것, 특히 의도 모델링 향상에 기반하여.
• 언어 모델이 유익한 의도뿐 아니라 악성 의도까지 시뮬레이션할 수 있는 능력으로 인해 발생할 수 있는 윤리적 위험을 강조하는 것.

제안 방법

• 논문은 언어 모델의 다음 단어 예측을, 에이전트의 믿음, 갈망, 의도의 근사치 표현을 추론하고 적용하는 과정으로 분석한다.
• 기존 자연어 처리(NLP) 문헌의 경험적 결과를 바탕으로, 언어 모델이 텍스트적 맥락으로부터 세밀한 의사소통 의도와 추상적 목표를 추론할 수 있음을 보여준다.
• 이 프레임워크는 언어 모델의 추론을 에이전트 시뮬레이션의 한 형태로 간주하며, 내부적으로 표현된 에이전트 상태가 텍스트 생성에 인과적으로 영향을 미친다.
• 저자는 실제 모델들(GPT-3 등)의 사례 연구를 통해 언어 모델이 서사 및 추론 과제에서 다양한 믿음과 동기를 어떻게 모델링하는지 설명한다.
• 구문이나 의미가 정확한 경우에도 잘못된 추론이 초래하는 비일관성 또는 모순적인 출력과 같은 실패 케이스를 포함하여 분석한다.
• 논문은 향후 아키텍처가 텍스트 기반 사전 훈련을 기반으로 하여 에이전트 상태를 더 잘 표현하고 추론할 수 있도록 설계되어야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 언어 모델은 내부 상태에 대한 직접적 접근 없이도 텍스트만으로 에이전트의 의사소통 의도를 추론하고 표현할 수 있는가?
• RQ2 추론된 에이전트 표현이 언어 모델의 언어 생성에 얼마나 인과적으로 영향을 미치는가? 인간의 말하기를 이끄는 의도와 유사한가?
• RQ3 믿음, 갈망, 의도의 잘못된 모델링에서 기인하는 현재 언어 모델의 실패 유형은 무엇인가?
• RQ4 텍스트 전용 사전 훈련된 언어 모델은 어떻게 더 견고하고 의도적인 에이전트 시스템을 구축하는 데 기반 자료로 활용될 수 있는가?
• RQ5 언어 모델이 정상적인 의도뿐 아니라 악성 의도까지 시뮬레이션할 수 있도록 하는 것이 윤리적 위험을 초래하는가?

주요 결과

• 현재 언어 모델은 텍스트만으로도 물리 법칙에 대한 다름의 믿음과 같은 세밀한 의사소통 의도를 추론하고 활용할 수 있다.
• GPT-3와 같은 모델들은 낙하하는 물체에 대한 다름의 믿음 예측과 같은 일관되고 목표 지향적인 서사 생성을 통해 암시적 에이전트 상태 모델링 능력을 보여준다.
• 언어 생성의 실패 원인은 종종 구문이나 의미의 오류가 아니라 잘못된 에이전트 믿음, 갈망, 의도에 대한 추론에서 기인한다.
• 제한 사항이 있음에도 불구하고, LMs는 상충하는 동기와 환경적 제약 조건을 포함한 다중 에이전트 시나리오를 시뮬레이션하는 잠재적 능력을 보이고 있다.
• 의도 모델링의 품질은 자원이 적은 언어에서 크게 떨어지며, 이러한 능력의 일반화를 제한한다.
• 향후 의도 모델링이 향상되면 악성 또는 해로운 에이전트 행동을 시뮬레이션하도록 유도당할 위험이 있다.