[논문 리뷰] PersonaLLM: Investigating the Ability of Large Language Models to Express Personality Traits

Hang Jiang, Xiajie Zhang외 4명|arXiv (Cornell University)|2023. 05. 04.

Mental Health via Writing인용 수 24

한 줄 요약

한두 문장 직접적 요약: 이 논문은 Big Five 특성에 맞춘 LLM 페르소나를 만들고, BFI를 통한 자기보고 성격 평가를 분석하며, LIWC로 이야기 흐름을 분석하고, 인간과 LLM이 AI가 작성한 이야기에서 성격을 인식하고 예측하는 방식을 평가한다.

ABSTRACT

Despite the many use cases for large language models (LLMs) in creating personalized chatbots, there has been limited research on evaluating the extent to which the behaviors of personalized LLMs accurately and consistently reflect specific personality traits. We consider studying the behavior of LLM-based agents which we refer to as LLM personas and present a case study with GPT-3.5 and GPT-4 to investigate whether LLMs can generate content that aligns with their assigned personality profiles. To this end, we simulate distinct LLM personas based on the Big Five personality model, have them complete the 44-item Big Five Inventory (BFI) personality test and a story writing task, and then assess their essays with automatic and human evaluations. Results show that LLM personas' self-reported BFI scores are consistent with their designated personality types, with large effect sizes observed across five traits. Additionally, LLM personas' writings have emerging representative linguistic patterns for personality traits when compared with a human writing corpus. Furthermore, human evaluation shows that humans can perceive some personality traits with an accuracy of up to 80%. Interestingly, the accuracy drops significantly when the annotators were informed of AI authorship.

연구 동기 및 목표

• LLM이 배정된 Big Five 성격 프로파일을 채택하고 반영할 수 있는지 탐색한다.
• LIWC를 사용하여 LLM 페르소나가 생성한 이야기의 언어적 패턴을 정량화한다.
• 가독성, 개인성, 신뢰가능성 측면에서 AI가 생성한 이야기의 인간 및 AI 인식 평가를 수행한다.
• 이야기로부터 작가의 Big Five 특성을 인간과 LLM이 얼마나 잘 추론하는지 평가한다.
• 자체 보고된 LLM 성격 점수와 할당된 페르소나 및 인간이 작성한 텍스트를 비교한다.

제안 방법

• ChatGPT와 GPT-4용으로 이진 Big Five 특성 조합당 10개씩 총 320개의 LLM 페르소나를 생성한다.
• 페르소나가 44항목 BFI(Big Five Inventory)를 완료하고 800단어의 개인 이야기를 작성하도록 한다.
• LIWC-22를 사용해 이야기를 분석하여 심리언어학적 특징을 추출한다.
• 일부 GPT-4 이야기에 대해 인간 및 LLM 평가자가 읽기 용이성, 개인성, 중복성, 응집력, 호감도, 신뢰가능성의 여섯 가지 차원으로 평가한다.
• 평가자에게 이야기를 바탕으로 작가의 Big Five 특성을 예측하게 한다(이진 및 Likert 기반 분석).
• LLM 페르소나의 BFI 점수를 할당된 프로필과 비교하고 LIWC 특징과 성격 특성 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: LLM이 BFI 평가를 완료할 때 배정된 Big Five 페르소나를 반영할 수 있는가?
• RQ2 RQ2: LLM 페르소나가 생성한 이야기에서 어떤 언어적 패턴이 나타나는가?
• RQ3 RQ3: 인간과 LLM은 LLM 페르소나가 생성한 이야기를 어떻게 평가하는가?
• RQ4 RQ4: 인간과 LLM은 LLM 페르소나가 작성한 이야기에서 Big Five 특성을 정확히 인식할 수 있는가?

주요 결과

• LLM 페르소나는 BFI 점수에서 다섯 가지 Big Five 특성 모두에 대해 크고 통계적으로 유의한 차이를 보이며, 배정된 페르소나와 일치한다.
• ChatGPT와 GPT-4 간 BFI 결과에 차이가 있으며, 일반적으로 GPT-4가 인간과 유사한 LIWC 패턴에 더 잘 일치한다.
• GPT-4 이야기는 가독성, 응집력, 신뢰가능성에서 인간과 LLM 평가자 모두에게 높은 점수를 받지만, AI로서의 저작이 공개되면 개인성은 낮게 평가된다.
• 인간과 GPT-4는 이야기에서 외향성과 친화성을 확률을 넘는 수준으로 예측할 수 있으며, 다수결로 정확도가 증가한다; AI 저작 여부를 인식하면 예측 정확도가 감소한다.
• LIWC 분석은 특성-연관 언어 패턴(예: 개방성은 호기심 어휘, 신경성은 불안/부정적 어조) 등을 밝혔고, 인간 작문과의 중복은 다르게 나타나며 GPT-4가 ChatGPT보다 더 높다.