[논문 리뷰] Large Language Models Can Infer Personality from Free-Form User Interactions

Heinrich Peters, Moran Cerf외 1명|arXiv (Cornell University)|2024. 05. 19.

Mental Health via Writing인용 수 4

한 줄 요약

이 연구는 GPT-4 기반 챗봇이 자유형 사용자 상호작용에서 중간 정도의 정확도로 빅 파이브 성격 특성 인지를 가능하게 함을 보여주며, 정적 텍스트 기반 방법보다 뛰어난 성능을 보인다. 가장 높은 정확도(평균 r = .443)는 사용자 경험에 영향을 주지 않으면서 성격 관련 정보를 유도하도록 프롬프트된 챗봇에서 달성되었으며, 이는 자연스러운 환경에서 대규모로 동적이고 심리학적 프로파일링을 수행할 수 있는 LLM의 잠재력을 시사한다.

ABSTRACT

This study investigates the capacity of Large Language Models (LLMs) to infer the Big Five personality traits from free-form user interactions. The results demonstrate that a chatbot powered by GPT-4 can infer personality with moderate accuracy, outperforming previous approaches drawing inferences from static text content. The accuracy of inferences varied across different conversational settings. Performance was highest when the chatbot was prompted to elicit personality-relevant information from users (mean r=.443, range=[.245, .640]), followed by a condition placing greater emphasis on naturalistic interaction (mean r=.218, range=[.066, .373]). Notably, the direct focus on personality assessment did not result in a less positive user experience, with participants reporting the interactions to be equally natural, pleasant, engaging, and humanlike across both conditions. A chatbot mimicking ChatGPT's default behavior of acting as a helpful assistant led to markedly inferior personality inferences and lower user experience ratings but still captured psychologically meaningful information for some of the personality traits (mean r=.117, range=[-.004, .209]). Preliminary analyses suggest that the accuracy of personality inferences varies only marginally across different socio-demographic subgroups. Our results highlight the potential of LLMs for psychological profiling based on conversational interactions. We discuss practical implications and ethical challenges associated with these findings.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 동적이고 자유형 사용자 상호작용에서 빅 파이브 성격 특성을 인지할 수 있는지 조사하는 것.
• 다양한 대화 프롬프팅 조건(성격 평가, 자연스러운 대화, 어시스턴트 모드) 간 성격 인지 정확도를 비교하는 것.
• 다양한 상호작용 환경에서 성격 인지 정확도와 사용자 경험 간의 상충 관계를 평가하는 것.
• 성별, 연령, 인종, 교육 수준, 사회경제적 배경에 따라 LLM 기반 성격 인지에 측정 가능한 디모그라픽 편향이 존재하는지 분석하는 것.
• 실제 응용에서 대규모로 비차별적이며 비침습적인 심리학적 프로파일링을 위해 LLM을 사용하는 데 있어 윤리적 및 실용적 함의를 탐색하는 것.

제안 방법

• Prolific Academic을 통해 미국 내 566명의 참가자를 대상으로 3x2 내부 설계 실험을 실시함.
• 세 가지 다른 프롬프팅 조건(성격 평가, 자연스러운 대화, 유용한 어시스턴트 모드)에서 GPT-4를 LLM 기반 챗봇으로 사용함.
• 사용자가 자연스럽게 상호작용하거나 개인적인 목적을 위해 챗봇을 사용하는 자유형 대화 상호작용을 수집함.
• 참가자들에게 빅 파이브 인벤토리-10(Big Five Inventory-10, BFI-10)를 시행하여 비교를 위한 기준 성격 점수를 확보함.
• 모든 특성과 조건 간에 LLM이 유추한 성격 점수와 참가자가 자가 보고한 BFI-10 점수 간의 제로 순서 상관관계(r)를 계산함.
• 자연스러움, 기분 좋음, 참여도, 인간다움 등의 척도를 사용하여 사용자 경험 평가를 수행함.

실험 결과

연구 질문

• RQ1 LLM 기반 챗봇이 정적 텍스트 기반 방법보다 자유형 사용자 상호작용에서 빅 파이브 성격 특성을 더 높은 정확도로 인지할 수 있는가?
• RQ2 대화 프롬프팅 전략(예: 성격 평가 대비 자연스러운 대화)이 성격 인지 정확도에 어떤 영향을 미치는가?
• RQ3 LLM에 성격 평가에 집중하도록 프롬프트하는 것이 자연스럽거나 어시스턴트 유사 상호작용에 비해 사용자 경험에 악영향을 미치는가?
• RQ4 성별, 연령, 인종, 교육 수준, 사회경제적 배경에 따라 LLM 기반 성격 인지에 측정 가능한 디모그라픽 편향이 존재하는가?
• RQ5 짧고 임무 중심의 교환에 비해 더 길거나 더 자연스럽게 발생하는 상호작용이 성격 인지 정확도를 얼마나 향상시키는가?

주요 결과

• 성격 관련 정보를 유도하도록 프롬프트된 챗봇이 가장 높은 인지 정확도를 기록하였으며, 빅 파이브 특성 전반에 걸쳐 평균 상관계수 r = .443(범위: .245 ~ .640)를 기록함.
• 자연스러운 대화 조건에서는 평균 상관계수 r = .218(범위: .066 ~ .373)를 기록하여 중간 정도의 정확도를 보였지만, 목표 지향 평가 조건보다 낮음.
• 기본 '유용한 어시스턴트' 모드에서는 가장 낮은 정확도를 기록함(평균 r = .117, 범위: -.004 ~ .209), 비록 일부 심리학적으로 의미 있는 정보를 포착함.
• 모든 조건에서 사용자 경험은 높게 유지되었으며, 자연스러움, 기분 좋음, 참여도, 인간다움에 대한 평가에 유의미한 차이가 없었음.
• 초기 분석 결과, 인구 통계 하위군 간 성능 정확도의 변동은 미미하여 모델의 성능에 제한된 디모그라픽 편향이 있음을 시사함.
• 본 연구는 더 길거나 더 자연스럽게 발생하는 상호작용이 성격 인지 정확도를 추가로 향상시킬 수 있음을 시사하지만, 현재 결과는 짧은 상호작용 기반으로 도출됨.