[논문 리뷰] Open Models, Closed Minds? On Agents Capabilities in Mimicking Human Personalities through Open Large Language Models

Lucio La Cava, Andrea Tagarelli|arXiv (Cornell University)|2024. 01. 13.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 MBTI 및 Big Five Inventory(BFI) 프레임워크를 사용하여 오픈소스 대규모 언어모델(LLM) 에이전트의 성격 모방 능력을 조사한다. 오픈소스 LLM은 고유한 내재 성격을 보이지만, 대부분의 에이전트는 역할 및 성격 기반 프롬프팅에 저항하여 '고정관념'을 유지하는 것으로 나타났다. 다만, 두 조건을 조합하면 모방 능력이 향상됨을 확인하였다.

ABSTRACT

The emergence of unveiling human-like behaviors in Large Language Models (LLMs) has led to a closer connection between NLP and human psychology. Scholars have been studying the inherent personalities exhibited by LLMs and attempting to incorporate human traits and behaviors into them. However, these efforts have primarily focused on commercially-licensed LLMs, neglecting the widespread use and notable advancements seen in Open LLMs. This work aims to address this gap by employing a set of 12 LLM Agents based on the most representative Open models and subject them to a series of assessments concerning the Myers-Briggs Type Indicator (MBTI) test and the Big Five Inventory (BFI) test. Our approach involves evaluating the intrinsic personality traits of Open LLM agents and determining the extent to which these agents can mimic human personalities when conditioned by specific personalities and roles. Our findings unveil that $(i)$ each Open LLM agent showcases distinct human personalities; $(ii)$ personality-conditioned prompting produces varying effects on the agents, with only few successfully mirroring the imposed personality, while most of them being ``closed-minded'' (i.e., they retain their intrinsic traits); and $(iii)$ combining role and personality conditioning can enhance the agents' ability to mimic human personalities. Our work represents a step up in understanding the dense relationship between NLP and human psychology through the lens of Open LLMs.

연구 동기 및 목표

• 사설 모델 중심의 연구가 지배적인 상황에서 오픈소스 LLM 에이전트가 인간 성격을 효과적으로 모방할 수 있는지 조사하는 것.
• MBTI 및 BFI와 같은 표준화된 심리학 프레임워크를 사용하여 오픈소스 LLM 에이전트의 내재 성격 특성을 평가하는 것.
• 성격 기반 프롬프팅이 에이전트 행동을 수정하고 목표 성격 프로파일에 맞추는 데 얼마나 효과적인지 평가하는 것.
• 역할극 지시와 성격 특정 조건을 조합할 경우, 인간처럼 행동하는 성격 특성을 모방하는 데에 에이전트의 능력이 향상되는지 탐색하는 것.

제안 방법

• 평가를 위해 주요 오픈소스 모델 기반으로 12개의 대표적 오픈소스 LLM 에이전트를 선정.
• 표준화된 심리 평가를 시행: 내재 성격 특성을 측정하기 위해 마이어스-브리그스 유형 지표(MBTI) 및 빅 파이브 인벤토리(BFI)를 적용.
• 성격 기반 프롬프팅을 적용하여, 에이전트가 특정 성격 유형(예: '외향적이고 책임감 있는 개인이 되라')을 취하도록 지시.
• 역할 할당(예: '치료사로 행동하라')과 성격 특정을 병행한 이중 조건 실험을 수행하여 상호보완적 효과를 테스트.
• 프롬프팅 이전 및 이후의 BFI 특성 점수와 MBTI 분류를 사용하여 성격 변화를 정량화하고, 모방 정밀도를 평가.
• 모델 간 응답 패턴의 분산을 분석하여 일관성과 조건부 프롬프팅에 대한 민감도를 판단.

실험 결과

연구 질문

• RQ1 오픈소스 LLM 에이전트는 MBTI 및 BFI 평가를 통해 측정했을 때 고유하고 측정 가능한 내재 성격 특성을 보이는가?
• RQ2 성격 기반 프롬프팅은 오픈소스 LLM 에이전트의 행동을 목표 성격 프로파일에 얼마나 잘 맞추는가?
• RQ3 역할극 지시와 성격 특정을 병행할 경우, 단일 조건 기반 접근보다 에이전트의 인간 성격 모방 능력이 향상되는가?
• RQ4 다양한 오픈소스 LLM 아키텍처와 크기 간에 성격 모방 결과는 얼마나 일관성 있는가?

주요 결과

• 각 오픈소스 LLM 에이전트는 MBTI 및 BFI 평가를 통해 고유한 내재 성격 프로파일을 보였다.
• 성격 기반 프롬프팅은 제한적인 성공을 보였으며, 일부 에이전트만 목표 성격을 효과적으로 수용하는 데 성공했고, 대부분은 내재 성격을 유지하여 '고정관념'에 저항함을 시사.
• 역할 및 성격 조건을 병행하면 모방 성능이 뚜렷이 향상되어, 에이전트 행동 형성에 상호보완적 효과가 있음을 시사.
• BFI 평가에서는 이중 조건 실험에서 특정 특성(예: 개방성, 친화성)의 변화가 측정 가능하게 나타났지만, 모델 간 크기는 다양함.
• 매개변수 수가 더 많은 에이전트는 약간 더 유연한 행동을 보였지만, 성공적인 모방에 결정적인 요소는 아니었음.
• 조건부 프롬프팅에도 불구하고 많은 에이전트는 일관성 없거나 표면적인 특성 일치를 보였으며, 깊은 성격 재현의 한계를 시사함.