[논문 리뷰] Character-LLM: A Trainable Agent for Role-Playing

Yunfan Shao, Linyang Li외 2명|arXiv (Cornell University)|2023. 10. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 재구성된 형식화된 개인 경험과 정서 상태를 토대로 미세조정하여 특정 역사적 또는 소설적 인물의 역할을 시뮬레이션할 수 있는 학습 가능한 언어 모델 에이전트인 Character-LLM을 소개한다. 정교하게 선별된 전기적 자료와 환각을 방지하기 위한 보호 경험을 바탕으로 지도 미세조정을 수행함으로써, 이 방법은 높은 정밀도의 역할 연기를 달성하였으며, 평가 결과 프롬프트 기반 LLM보다 기억력과 일관성이 향상됨을 보였다.

ABSTRACT

Large language models (LLMs) can be used to serve as agents to simulate human behaviors, given the powerful ability to understand human instructions and provide high-quality generated texts. Such ability stimulates us to wonder whether LLMs can simulate a person in a higher form than simple human behaviors. Therefore, we aim to train an agent with the profile, experience, and emotional states of a specific person instead of using limited prompts to instruct ChatGPT API. In this work, we introduce Character-LLM that teach LLMs to act as specific people such as Beethoven, Queen Cleopatra, Julius Caesar, etc. Our method focuses on editing profiles as experiences of a certain character and training models to be personal simulacra with these experiences. To assess the effectiveness of our approach, we build a test playground that interviews trained agents and evaluates whether the agents extit{memorize} their characters and experiences. Experimental results show interesting observations that help build future simulacra of humankind.

연구 동기 및 목표

• 프롬프트 기반 역할 연역을 넘어서 일관된 성격, 정서 상태 및 개인 경험을 가진 특정 인물을 효과적으로 시뮬레이션할 수 있는 학습 가능한 에이전트를 개발하는 것.
• 프롬프트 튜닝된 LLM이 인물 일관성 유지 및 개인 역사 기억에 한계를 보이는 문제를 해결하는 것.
• 특정 인물의 알려진 지식 범위에 부합하는 보호 경험을 도입하여 캐릭터 에이전트의 환각을 줄이는 것.
• 새로운 인터뷰 기반 평가 프레임워크를 통해 훈련된 에이전트의 역할 연기 효과를 평가하는 것.
• LLM를 사용하여 캐릭터 시뮬라크럼을 구축하고 테스트할 수 있는 확장 가능한 오픈소스 프레임워크를 제공하는 것.

제안 방법

• 경험 재구성: 지시를 따르는 LLM을 사용하여 베토벤이나 클레오파트라 같은 인물의 개인 경험을 형식화된 플래시백 스타일의 장면으로 추출한다.
• 지도 미세조정(SFT): 7B LLaMA 모델을 사용하여 재구성된 경험 장면을 기반으로 캐릭터 전용 행동, 정서 및 기억을 학습한다.
• 보호 경험: 고대 인물이 현대 기술을 모른다는 것과 같이 캐릭터 전용 지식 제약 조건을 도입하여 LLM이 캐릭터 외부 지식을 환각하지 않도록 한다.
• 평가 프레임워크: LLM 기반 평가자로 캐릭터 기억력과 일관성을 측정하기 위해 새로운 인터뷰 기반 플레이그라운드를 사용한다.
• 훈련 파이프라인: 프로필 정제, 경험 추출, SFT 미세조정, 보호 경험 삽입을 통합하여 강력한 캐릭터 에이전트를 구축한다.
• 오픈소스 배포: 코드와 데이터셋은 재현성 및 확장성을 위해 https://github.com/choosewhatulike/trainable-agents 에 공개되어 있다.

실험 결과

연구 질문

• RQ1 LLM는 특정 역사적 또는 소설적 인물을 일관된 성격과 정서 상태로 효과적으로 시뮬레이션할 수 있도록 학습시킬 수 있는가?
• RQ2 경험 기반 미세조정는 프롬프트 기반 프롬프팅에 비해 역할 연기 중 인물의 정밀도를 유지하는 데 얼마나 효과적인가?
• RQ3 보호 경험은 특히 캐릭터 외부 지식에 대해 환각을 어느 정도 줄일 수 있는가?
• RQ4 훈련된 에이전트는 상호작용 대화 중 개인 경험을 얼마나 잘 유지하고 회상하는가?
• RQ5 모호하거나 캐릭터 외부의 질문에 직면했을 때 캐릭터 에이전트의 실패 유형과 한계는 무엇인가?

주요 결과

• Character-LLM 에이전트는 베토벤의 혹독한 성장 배경과 같은 캐릭터 전용 경험을 효과적으로 기억하고 일관되게 회상함으로써, 미세조정을 통한 개인화가 성공적으로 이루어졌음을 보여주었다.
• 보호 경험의 사용은 환각을 크게 줄였다—예를 들어 고대 인물이 현대 기술을 언급하는 것을 방지함으로써 캐릭터 제약 조건에 더 잘 부합함을 확인했다.
• 평가 결과, Alpaca나 Vicuna와 같은 지시 튜닝된 LLM보다 훈련된 에이전트가 역할 연기 인터뷰에서 인물 일관성과 신뢰성 면에서 뛰어난 성능을 보였다.
• 사례 연구에서 비현저한 실패 패tern이 드러났는데, 예를 들어 보호 경험의 부족으로 인해 에이전트가 모호한 질문에 어려움을 겪거나 세계 지식에 과도하게 의존하는 경향이 있었다.
• 이 프레임워크는 고정밀도의 역할 연기를 가능하게 하였으며, 재구성된 개인 역사에 기반한 일관된 정서 반응과 서사 연속성을 보여주는 에이전트를 구현하였다.
• 공개된 코드와 데이터셋은 향후 학습 가능한 캐릭터 전용 AI 에이전트 연구를 위한 기초를 제공한다.