[논문 리뷰] InCharacter: Evaluating Personality Fidelity in Role-Playing Agents through Psychological Interviews

Xintao Wang, Xiao, Yunze외 11명|arXiv (Cornell University)|2023. 10. 27.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 기존의 자기 보고 평가에 의존하지 않고, 표준화된 성격 척도를 사용해 심리적 인터뷰를 수행하는 방식으로 역할수행 에이전트(RPAs)의 성격 충실도를 평가하는 새로운 방법인 InCharacter를 제안한다. 이 방법은 32명의 캐릭터와 14개의 심리 척도를 대상으로 RPA의 성격을 인간이 인식한 성격 특성과 80.7%의 정확도로 일치시킨다.

ABSTRACT

Role-playing agents (RPAs), powered by large language models, have emerged as a flourishing field of applications. However, a key challenge lies in assessing whether RPAs accurately reproduce the personas of target characters, namely their character fidelity. Existing methods mainly focus on the knowledge and linguistic patterns of characters. This paper, instead, introduces a novel perspective to evaluate the personality fidelity of RPAs with psychological scales. Overcoming drawbacks of previous self-report assessments on RPAs, we propose InCharacter, namely Interviewing Character agents for personality tests. Experiments include various types of RPAs and LLMs, covering 32 distinct characters on 14 widely used psychological scales. The results validate the effectiveness of InCharacter in measuring RPA personalities. Then, with InCharacter, we show that state-of-the-art RPAs exhibit personalities highly aligned with the human-perceived personalities of the characters, achieving an accuracy up to 80.7%.

연구 동기 및 목표

• 기존 방법이 지식과 언어적 복제에 치중함에 따라 역할수행 에이전트(RPAs)의 성격 충실도 평가에 빈도를 두지 않는 격차를 해소하기 위해.
• 지시 충돌과 응답 편향 등의 문제로 인해 자기 보고 평가의 한계를 극복하기 위해 인터뷰 기반 평가 프레임워크를 도입하기 위해.
• 인간 심리학자가 유도 대화를 통해 성격을 평가하는 방식을 모방하는 전문가 수준의 평가 프로토콜을 개발하기 위해.
• BFI, 16P, DTDD와 같은 널리 사용되는 14개의 심리 척도를 활용해 18명의 캐릭터에 대해 인간이 레이블링한 데이터를 포함한 RPA 성격 평가 벤치마크를 구축하기 위해.
• 최신 기술의 RPA가 목표 캐릭터에 대해 인간이 인식한 성격 특성과 매우 유사한 성격 프로필을 보여주므로, 성격 충실도가 높다는 것을 입증하기 위해.

제안 방법

• InCharacter는 두 단계 과정을 사용한다: (1) 인터뷰 — 심리 척도에서 유도된 개방형 질문을 RPA에 제시하여 행동, 인지, 정서적 반응을 이끌어낸다.
• 두 번째 단계에서 LLM이 RPA의 응답을 해석하여 리커트 척도 수준에 할당하거나 정신과 의사의 판단을 시뮬레이션하여 성격 특성을 유추한다.
• 성격 척도로는 Big Five Inventory(BFI), 16Personalities(16P), Dark Triad Dirty Dozen(DTDD)와 같은 표준화된 척도를 사용하며, 핵심 성격 차원을 탐색할 수 있도록 질문을 설계한다.
• BFI와 16P의 성격 레이블은 성격 데이터베이스(PDb)에서 확보하며, 다른 척도의 경우 캐릭터에 익숙한 인간 평가자가 레이블을 제공하여 정확도를 확보한다.
• 역할수행과 충돌하는 자기 보고 지시를 피하기 위해, 성격 평가를 RPA의 내러티브와 역할 일관성 있는 행동 속에 통합한다.
• 평가에서는 32개의 고유한 캐릭터와 14개의 척도를 대상으로 하며, LLM 기반 해석과 인간 레이블 기반 참값을 모두 사용해 검증한다.

실험 결과

연구 질문

• RQ1 InCharacter는 인터뷰 기반 심리 평가를 통해 역할수행 에이전트의 성격 특성을 얼마나 정확하게 측정할 수 있는가?
• RQ2 최신 기술의 RPA는 동일한 캐릭터에 대해 인간이 인식한 성격 프로필과 비교해 얼마나 높은 성격 충실도를 보이는가?
• RQ3 기존 자기 보고 방식에 비해 인터뷰 기반 방법이 RPA 성격 충실도 평가에서 어떤 방식으로 우월한가?
• RQ4 전문가 수준의 해석을 통해 평가했을 때 RPA의 응답은 기존 심리 척도와 얼마나 일관성이 있는가?
• RQ5 InCharacter는 다양한 캐릭터 유형과 심리 프레임워크에 일반화될 수 있는가?

주요 결과

• InCharacter는 인간이 인식한 성격 특성과 높은 일치도로 RPA의 성격 충실도를 측정하며, 32명의 캐릭터를 대상으로 최대 80.7%의 정확도를 달성한다.
• 지시 충돌과 응답 편향 등의 문제로 인해 자주 오해의 소지가 있는 자기 보고 평가에 비해 이 방법이 뛰어난 성능을 보인다.
• 최신 기술의 RPA는 인간 평가자 레이블과 매우 일치하는 성격 프로필을 보이며, 강력한 성격 충실도를 나타낸다.
• 인터뷰 형식의 대화 속에서 LLM이 RPA의 응답을 해석함으로써 자기 보고 방식보다 더 세밀하고 행동 기반의 성격 평가가 가능하다.
• 14개의 심리 척도와 18명의 캐릭터에 대해 인간이 레이블링한 데이터를 포함한 이 벤치마크는 RPA 성격 충실도 평가의 신뢰성 있고 재현 가능한 기반을 제공한다.
• 심리적 인터뷰 기반 평가가 RPA의 정서 상태와 행동 패턴을 평가하는 데 더 강력하고 대표적인 방법임을 결과가 입증한다.