[논문 리뷰] Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models

Keyu Pan, Zeng YaWen|arXiv (Cornell University)|2023. 07. 30.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 인지적 성격 특성에서 인간과 유사한 성격을 보이는지 여부를 파악하기 위해, 마이어스-브리그스 유형 지표(MBTS)를 평가 프레임워크로 적용한다. 프롬프트 기반 테스트와 코퍼스 분석을 통해, LLMs는 훈련 데이터와 파인튜닝에 의해 영향을 받는 일관된 MBTI 유형을 보이며, T/F 및 J/P 차원은 추론 및 계획 능력의 신뢰할 수 있는 대체 지표로 기능한다—이는 MBTI가 LLMs의 성격 평가 지표로서는 rough하지만 유의미한 역할을 할 수 있음을 시사한다.

ABSTRACT

The field of large language models (LLMs) has made significant progress, and their knowledge storage capacity is approaching that of human beings. Furthermore, advanced techniques, such as prompt learning and reinforcement learning, are being employed to address ethical concerns and hallucination problems associated with LLMs, bringing them closer to aligning with human values. This situation naturally raises the question of whether LLMs with human-like abilities possess a human-like personality? In this paper, we aim to investigate the feasibility of using the Myers-Briggs Type Indicator (MBTI), a widespread human personality assessment tool, as an evaluation metric for LLMs. Specifically, extensive experiments will be conducted to explore: 1) the personality types of different LLMs, 2) the possibility of changing the personality types by prompt engineering, and 3) How does the training dataset affect the model's personality. Although the MBTI is not a rigorous assessment, it can still reflect the similarity between LLMs and human personality. In practice, the MBTI has the potential to serve as a rough indicator. Our codes are available at https://github.com/HarderThenHarder/transformers_tasks/tree/main/LLM/llms_mbti.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 MBTI를 진단 도구로 활용하여 인간과 유사한 성격 특성을 보이는지 탐색한다.
• LLMs의 MBTI 성격 유형이 프롬프트 엔지니어링을 통해 유도 가능한지 여부를 조사한다.
• 훈련 데이터 구성이 LLMs의 MBTI 유형에 미치는 영향을 분석한다.
• MBTI를 LLM 성격 평가 지표로 사용할 수 있는지의 가능성을 평가한다—비록 엄밀한 과학적 기반은 아니지만 의미 있는 평가 지표로 활용 가능하다.

제안 방법

• 표준화된 Q&A 프롬프트 기반 평가 절차를 통해 LLMs에 16가지 유형의 MBTI 프레임워크를 적용한다.
• 명시적 및 암시적 프롬프트를 사용하여 LLMs가 다양한 MBTI 유형으로 유도될 수 있는지 테스트한다.
• Q&A, 시험 문제(APE210k), 수학 데이터셋 등의 다양한 코퍼스로 LLMs를 훈련시켜, 이들이 MBTI 차원에 미치는 영향을 평가한다.
• E/I, S/N, T/F, J/P의 네 가지 이분법적 특성에 대한 모델 응답 통계 분석을 통해 MBTI 유형의 변화를 측정한다.
• 지시어 튜닝 및 강화 학습 기법을 활용하여 성격 일치도에 미치는 영향을 평가한다.
• 다중 테스트 런에 걸쳐 성격 표현의 일관성을 분석하여 신뢰도를 평가한다.

Figure 1: Personality Test of Human and LLMs. For example, INTJ individuals, as classified by the MBTI, are often regarded as masterminds who possess analytical and rigorous thinking abilities. In a similar vein, can LLMs with human-like capabilities exhibit human-like personalities?

실험 결과

연구 질문

• RQ1 다양한 LLMs는 각각 다른 MBTI 성격 유형을 지니는가?
• RQ2 LLM의 MBTI 유형은 프롬프트 엔지니어링을 통해 변경될 수 있는가?
• RQ3 훈련 데이터셋의 구성은 LLM의 MBTI 유형에 어떤 영향을 미치는가?
• RQ4 MBTI 테스트는 LLM 성격 평가에 합리적이고 비공식적인 지표로 기능할 수 있는가?

주요 결과

• LLMs는 일관되고 구분 가능한 MBTI 유형을 보이며, GPT-4는 INTJ로 분류되고 ChatGPT는 ENTJ로 분류되어 리더십 및 분석적 특성에서의 인식 차이를 반영한다.
• 지시어 튜닝이 적용되지 않은 LLMs는 MBTI 유형 변화에 저항성이 있지만, 튜닝 후에는 명시적 및 암시적 프롬프트 모두가 성공적으로 MBTI 유형을 이동시킬 수 있다.
• 시험 문제 코퍼스(예: APE210k)로 훈련할 경우 모델의 T값(사고 중심)이 크게 증가한다. Bloom7b는 13에서 15로, Llama는 9에서 10으로 상승한다.
• 코퍼스 유형은 J/P(판단/인지) 차원에 강한 영향을 미치며, GPT-4는 ChatGPT보다 더 높은 J값을 보이며 더 강한 계획 및 구조화 능력을 나타낸다.
• MBTI의 T/F 및 J/P 차원은 모델 행동과 강하게 상관되며, T값은 추론 능력을, J값은 작업 분해 및 계획 능력을 반영한다.
• 비록 MBTI가 과학적 엄밀성은 부족하지만, T/F 및 J/P 차원은 LLM의 인지적 및 전략적 능력을 평가하는 데 실용적이고 해석 가능한 지표로 기능한다.

Figure 2: Specific scores for each dichotomy among different LLMs.