[논문 리뷰] Can ChatGPT Read Who You Are?

Erik Derner, Dalibor Kučera외 2명|arXiv (Cornell University)|2023. 12. 26.

Mental Health via Writing참고 문헌 38인용 수 4

한 줄 요약

이 연구는 코페어어의 짧은 텍스트에서 빅파이브 인벤토리(BFI)를 기준으로 ChatGPT가 성격 특성을 유추할 수 있는지 조사한다. ChatGPT는 인간 평가자들과 경쟁 가능한 성능을 보였지만, 모든 성격 특성에서 일관된 긍정 편향을 보이며, 성능은 프롬프트 설계에 의해 크게 영향을 받는다.

ABSTRACT

The interplay between artificial intelligence (AI) and psychology, particularly in personality assessment, represents an important emerging area of research. Accurate personality trait estimation is crucial not only for enhancing personalization in human-computer interaction but also for a wide variety of applications ranging from mental health to education. This paper analyzes the capability of a generic chatbot, ChatGPT, to effectively infer personality traits from short texts. We report the results of a comprehensive user study featuring texts written in Czech by a representative population sample of 155 participants. Their self-assessments based on the Big Five Inventory (BFI) questionnaire serve as the ground truth. We compare the personality trait estimations made by ChatGPT against those by human raters and report ChatGPT's competitive performance in inferring personality traits from text. We also uncover a 'positivity bias' in ChatGPT's assessments across all personality dimensions and explore the impact of prompt composition on accuracy. This work contributes to the understanding of AI capabilities in psychological assessment, highlighting both the potential and limitations of using large language models for personality inference. Our research underscores the importance of responsible AI development, considering ethical implications such as privacy, consent, autonomy, and bias in AI applications.

연구 동기 및 목표

• 비영어권 언어(체코어)로 작성된 짧은 문장에서 ChatGPT가 성격 특성을 유추할 수 있는지 평가하는 것.
• 자기 보고식 BFI 평가를 기준으로 한 진실값을 활용해 ChatGPT의 성격 특성 추정치를 인간 평가자들과 비교하는 것.
• LLM 기반 성격 평가에서 긍정 편향의 존재 및 영향을 조사하는 것.
• 다양한 프롬프트 구성 방식이 ChatGPT의 성격 유추 정확도에 어떤 영향을 미치는지 분석하는 것.
• AI 기반 사용자 모델링에서 개인정보, 동의, 자율성 및 편향과 같은 윤리적 함의를 제시하는 것.

제안 방법

• 155명의 체코어를 구사하는 참가자가 네 가지 유형의 짧은 텍스트를 작성하고, 성격 평가를 위해 빅파이브 인벤토리(BFI)를 완료한 사용자 연구를 실시했다.
• 참가자들이 보고한 자가 평가를 바탕으로, 외향성, 친화성, 성실성, 정서적 안정성, 열린 마음의 다섯 차원의 성격 특성에 대한 기준값을 확보했다.
• ChatGPT의 성능을 평가하기 위해 여러 가지 프롬프트 변형을 활용하였으며, 제로샷, 패턴 기반 소수, 사고의 사슬 추론 전략을 포함했다.
• ChatGPT의 예측 분포를 인간 평가자 및 자가 평가와 비교하기 위해 기술통계량(평균, 중앙값, 최빈값, 표준편차, 변동계수)을 사용했다.
• 각 성격 차원의 세 수준(낮음, 중립, 높음)에서 ChatGPT의 예측 일관성과 정확도를 분석했다.
• ChatGPT의 출력 결과를 인간 평가자(H_A 및 H_B)와 다른 LLM 버전(GPT-TL, GPT-DTL 등)과 비교하여 상대적 성능과 편향 패턴을 평가했다.

Figure 1: Relative frequencies for all assessment scores in the low, neutral, and high spectra for all personality dimensions.

실험 결과

연구 질문

• RQ1 자기 보고식 BFI 평가를 기준으로 하여, ChatGPT는 체코어로 작성된 짧은 텍스트에서 성격 특성을 정확하게 유추할 수 있는가?
• RQ2 ChatGPT의 성격 유추 성능는 인간 평가자들과 비교해 어떻게 되는가?
• RQ3 ChatGPT는 다섯 성격 특성 전반에 걸쳐 체계적인 긍정 편향을 보이는가?
• RQ4 프롬프트 구성은 ChatGPT의 성격 유추 정확도에 어느 정도의 영향을 미치는가?
• RQ5 실제 응용 분야에서 ChatGPT와 같은 LLM을 사용해 자동 성격 평가를 수행할 경우 윤리적 함의는 무엇인가?

주요 결과

• ChatGPT는 짧은 체코어 텍스트에서 성격 특성을 유추하는 데 있어 경쟁 가능한 성능를 보였으며, 많은 경우 평균 점수가 자가 평가와 유사하게 일치했다.
• ChatGPT의 평가에서 일관된 긍정 편향이 관찰되었다: 다섯 성격 특성 전반에서 예측 점수가 자가 평가보다 체계적으로 높았으며, 특히 낮음 및 중립 범주에서 두드러졌다.
• 정서적 안정성의 경우 고자기 평가 그룹에서 평균 예측 점수가 1.805로 나타나 고정신적 안정성은 체계적으로 과소평가되었고, 열린 마음의 고그룹 평균 점수는 2.041로 나타나 고열린 마음 성향도 과소평가된 것으로 나타났다.
• 프롬프트 설계가 성능에 크게 영향을 미쳤다: 패턴 기반 소수 및 사고의 사슬 추론 전략을 활용한 변형(GPT-DLT 등)은 제로샷 기반보다 정확도가 향상되었으며, GPT-DLT는 고자기 평가 그룹에서 열린 마음 성향에 대해 평균 2.789의 점수를 기록했다.
• 인간 평가자(H_A 및 H_B)는 대부분의 성격 차원에서 ChatGPT보다 자가 평가와 더 높은 일관성을 보였으며, 특히 정서적 안정성과 열린 마음에서 ChatGPT의 평균 예측 점수가 자가 보고보다 항상 낮았다.
• ChatGPT의 예측에 대한 변동계수는 인간 평가자보다 일반적으로 낮아, 더 일관되지만 변동성이 적은 응답을 보였으며, 이는 개인 간 차이에 대한 미세한 민감도가 부족할 수 있음을 시사한다.

Figure 2: F1 scores for all evaluation methods and all personality dimensions (higher is better). The self-assessment score ( A ${}_{\textbf{S}}$ ) serves as the ground truth.