[논문 리뷰] Can ChatGPT Assess Human Personalities? A General Evaluation Framework

Haocong Rao, Cyril Leung외 1명|arXiv (Cornell University)|2023. 03. 01.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 ChatGPT와 같은 대규모 언어모델(LLM)이 MBTI 테스트를 활용해 인간의 성격을 평가할 수 있도록 하는 일반적인 평가 프레임워크를 제안한다. 편향 없는 프롬프트, 주제 교체 쿼리, 정확도 평가 지침을 활용함으로써 프레임워크는 일관되고 공정하며 유연한 성격 평가를 보장한다. 실험 결과, ChatGPT는 낮은 프롬프트 편향에 대한 내성성에도 불구하고 InstructGPT보다 더 높은 일관성과 공정성을 보였다.

ABSTRACT

Large Language Models (LLMs) especially ChatGPT have produced impressive results in various areas, but their potential human-like psychology is still largely unexplored. Existing works study the virtual personalities of LLMs but rarely explore the possibility of analyzing human personalities via LLMs. This paper presents a generic evaluation framework for LLMs to assess human personalities based on Myers Briggs Type Indicator (MBTI) tests. Specifically, we first devise unbiased prompts by randomly permuting options in MBTI questions and adopt the average testing result to encourage more impartial answer generation. Then, we propose to replace the subject in question statements to enable flexible queries and assessments on different subjects from LLMs. Finally, we re-formulate the question instructions in a manner of correctness evaluation to facilitate LLMs to generate clearer responses. The proposed framework enables LLMs to flexibly assess personalities of different groups of people. We further propose three evaluation metrics to measure the consistency, robustness, and fairness of assessment results from state-of-the-art LLMs including ChatGPT and GPT-4. Our experiments reveal ChatGPT's ability to assess human personalities, and the average results demonstrate that it can achieve more consistent and fairer assessments in spite of lower robustness against prompt biases compared with InstructGPT.

연구 동기 및 목표

• 대규모 언어모델(LLM)이 인간 성격을 평가할 수 있는지 여부를 조사하는 것 — 이는 아직 거의 탐구되지 않은 능력이다.
• MBTI를 활용해 LLM이 정량적 성격 평가를 수행할 수 있도록 일반적이고, 민감하며 신뢰할 수 있는 평가 프레임워크를 개발하는 것.
• 다양한 주제와 프롬프트 변형에 대해 LLM이 생성한 성격 평가의 일관성, 내성성, 공정성을 측정하는 것.
• LLM의 성격 평가에 잠재된 편향을 밝혀내고 더 안전하고 신뢰할 수 있는 AI 시스템을 만들기 위한 정보를 제공하는 것.

제안 방법

• MBTI 질문의 답변 선택지를 무작위로 순열화하여 편향 없는 프롬프트를 설계하고, 결과를 평균화함으로써 응답 편향을 감소시킨다.
• MBTI 문장의 주제를 교체하여 다양한 개인이나 집단에 대한 민감하고도 확장 가능한 평가를 가능하게 하는 주제 교체 쿼리 구현.
• 질문 지침을 재구성하여 정확도 평가에 초점을 맞춰, LLM이 더 명확하고 분석 가능한 응답을 생성하도록 유도한다.
• 세 가지 평가 지표 제안: 일관성(평가의 반복 가능성), 내성성(프롬프트 변형에 대한 민감도), 공정성(성별 간 균형 잡힌 대응).
• 표준화된 시험 조건에서 최신 LLM인 ChatGPT, GPT-4, InstructGPT를 대상으로 프레임워크를 적용하여 평가한다.
• 모델 간 비교와 정량적 평가를 가능하게 하기 위해 MBTI를 대표적인 성격 프레임워크로 활용한다.

실험 결과

연구 질문

• RQ1 ChatGPT와 같은 LLM이 MBTI와 같은 표준화된 심리학적 프레임워크를 활용해 인간 성격을 신뢰성 있게 평가할 수 있는가?
• RQ2 다양한 LLM은 성격 평가에서 일관성, 내성성, 공정성 측면에서 어떻게 비교되는가?
• RQ3 프롬프트 변형과 주제 교체가 LLM이 생성한 성격 평가의 신뢰성과 객관성에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 성별에 따라 달라지는 주제를 포함한 LLM 성격 평가에서 편향을 탐지하고 완화할 수 있는가?

주요 결과

• ChatGPT는 낮은 프롬프트 편향에 대한 내성성에도 불구하고, InstructGPT보다 일관성과 공정성 측면에서 뛰어난 성능을 보였다.
• 다중 실행에 걸친 평균 평가 결과는 ChatGPT와 GPT-4 모두에서 높은 일관성을 보이며 안정적인 성격 추론 행동을 나타낸다.
• 주제 교체 쿼리는 재학습 없이도 다양한 개인이나 인구 집단에 걸쳐 민감하고 확장 가능한 성격 평가를 가능하게 한다.
• 정확도 평가 지침은 LLM이 생성한 평가의 명확성과 분석적 일관성을 크게 향상시켰다.
• 프레임워크는 LLM 내 잠재적 편향을 성공적으로 탐지했으며, 특히 성별에 따라 달라지는 주제를 포함한 평가에서 스테레오타입화의 위험을 드러냈다.
• 실험 결과는 LLM이 의미 있는 성격 평가를 수행할 수 있음을 확인했으며, 이는 인간과 유사한 심리적 추론 및 인식 능력을 지닌다는 것을 시사한다.