[논문 리뷰] Large language models can replicate cross-cultural differences in personality

Paweł Niszczota, Mateusz Janczak외 1명|arXiv (Cornell University)|2023. 10. 12.

Mental Health Research Topics인용 수 6

한 줄 요약

이 연구는 GPT-4와 같은 대규모 언어 모델(Large Language Models, LLMs)이 대규모 시뮬레이션(N=8,000)을 통해 미국과 한국 문화 간의 성격 특성 다섯 가지 축(빅 파이브)의 차이를 재현할 수 있는지 조사한다. 연구 결과, GPT-4는 미국과 한국 문화 간의 기대되는 성격 차이를 성공적으로 재현하지만, 인간 데이터와 비교해 평균 평가치가 과대평가되고 변동성이 감소한 경향을 보였다.

ABSTRACT

We use a large-scale experiment (N=8000) to determine whether GPT-4 can replicate cross-cultural differences in the Big Five, measured using the Ten-Item Personality Inventory. We used the US and South Korea as the cultural pair, given that prior research suggests substantial personality differences between people from these two countries. We manipulated the target of the simulation (US vs. Korean), the language of the inventory (English vs. Korean), and the language model (GPT-4 vs. GPT-3.5). Our results show that GPT-4 replicated the cross-cultural differences for each factor. However, mean ratings had an upward bias and exhibited lower variation than in the human samples, as well as lower structural validity. We provide preliminary evidence that LLMs can aid cross-cultural researchers and practitioners.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 인간 집단에서 관찰된 문화적으로 구분된 성격 프로파일을 시뮬레이션할 수 있는지 조사하기.
• 실제 인간 데이터와 비교해 LLM이 생성한 성격 평가의 구조적 타당성과 정확도를 평가하기.
• 문화적 대상, 평가 언어, 모델 유형(GPT-4 대비 GPT-3.5)이 성격 시뮬레이션 정확도에 미치는 영향을 평가하기.
• LLM이 교차문화적 성격 연구 및 응용 분야에서 실용적인 도구로 활용될 수 있는지 판단하기.
• 특히 평균 수준과 분산 측면에서 LLM이 생성한 성격 점수에 체계적인 편향이 존재하는지 규명하기.

제안 방법

• 8,000개의 LLM 기반 응답을 활용해 대규모 실험적 시뮬레이션을 수행하였으며, 성격 특성 다섯 가지 축을 평가하기 위해 십항성격검사(Ten-Item Personality Inventory, TIPI)를 사용하였다.
• 세 가지 핵심 조건을 변화시켰다: 문화적 대상(U.S. 대비 한국), TIPI의 언어(영어 대비 한국어), LLM(GPT-4 대비 GPT-3.5).
• 통제된 프롬프트를 사용해 GPT-4와 GPT-3.5가 미국 및 한국의 개인을 시뮬레이션하는 방식으로 성격 응답을 생성하였다.
• 문화적 및 언어적 조건 간 응답을 수집하고 분석하여 평균 점수와 내적 일관성을 비교하였다.
• 확증적 요인분석을 통해 LLM 기반 응답의 내적 요인 구조를 평가함으로써 구조적 타당성을 검토하였다.
• 실제 미국 및 한국 샘플에서 확보된 인간 데이터와 비교해 LLM 기반 성격 프로파일의 재현 정확도를 평가하였다.

실험 결과

연구 질문

• RQ1 GPT-4는 인간 집단에서 관찰된 미국과 한국 간의 빅 파이브 성격 특성의 교차문화적 차이를 재현할 수 있는가?
• RQ2 문화적 대상과 평가 언어의 변화가 LLM의 성격 시뮬레이션 정확도에 어떤 영향을 미치는가?
• RQ3 LLM이 생성한 성격 점수는 인간 데이터와 비교해 어느 정도의 구조적 타당성을 보이는가?
• RQ4 실제 인간 응답과 비교해 LLM 기반 성격 프로파일의 평균 평가치나 분산에 체계적인 편향이 존재하는가?
• RQ5 GPT-4와 같은 LLM은 교차문화적 성격 연구 및 실용적 응용 분야에서 신뢰할 수 있는 도구로 활용될 수 있는가?

주요 결과

• GPT-4는 미국과 한국 문화 프로파일 간 빅 파이브 성격 특성의 모든 다섯 축에서 기대되는 교차문화적 차이를 성공적으로 재현하였다.
• LLM이 생성한 성격 점수는 양 문화 집단의 인간 데이터와 비교해 일관되게 평균 평가치가 과대평가된 경향을 보였다.
• LLM 기반 응답의 분산은 인간 샘플보다 유의미하게 낮아, 시뮬레이션된 성격 표현의 다양성이 감소한 것으로 나타났다.
• LLM 기반 응답의 구조적 타당성은 인간 데이터보다 낮았으며, 빅 파이브 차원의 내적 요인 구조가 약화된 것으로 나타났다.
• GPT-4와 GPT-3.5 간 시뮬레이션 정확도는 유사했지만, GPT-4가 기대되는 문화적 차이와 약간 더 잘 일치하는 경향을 보였다.
• 검사의 언어(영어 대비 한국어)는 차이의 크기에 미미한 영향을 미쳤으며, 이는 이 맥락에서 모델 성능이 다양한 언어에 대해 강건함을 시사한다.