[논문 리뷰] Self-Assessment Tests are Unreliable Measures of LLM Personality

Akshat Gupta, Xiaoyang Song외 1명|arXiv (Cornell University)|2023. 09. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 일반적으로 인간 성격을 측정하는 데 사용되는 자기 평가 성격 테스트가 대규모 언어 모델(Large Language Models, LLMs)에 대해 신뢰할 수 없다는 것을 입증한다. 두 가지 실험을 통해 LLMs가 의미적으로 동일한 질문을 제시받거나 다중선택지 질문의 선택지 순서를 변경했을 때 통계적으로 유의미하고 일관되지 않은 성격 점수를 산출함으로써, 이러한 테스트가 LLM의 성격을 측정하는 데 있어 타당성을 상실한다는 것을 보여준다.

ABSTRACT

As large language models (LLM) evolve in their capabilities, various recent studies have tried to quantify their behavior using psychological tools created to study human behavior. One such example is the measurement of "personality" of LLMs using self-assessment personality tests developed to measure human personality. Yet almost none of these works verify the applicability of these tests on LLMs. In this paper, we analyze the reliability of LLM personality scores obtained from self-assessment personality tests using two simple experiments. We first introduce the property of prompt sensitivity, where three semantically equivalent prompts representing three intuitive ways of administering self-assessment tests on LLMs are used to measure the personality of the same LLM. We find that all three prompts lead to very different personality scores, a difference that is statistically significant for all traits in a large majority of scenarios. We then introduce the property of option-order symmetry for personality measurement of LLMs. Since most of the self-assessment tests exist in the form of multiple choice question (MCQ) questions, we argue that the scores should also be robust to not just the prompt template but also the order in which the options are presented. This test unsurprisingly reveals that the self-assessment test scores are not robust to the order of the options. These simple tests, done on ChatGPT and three Llama2 models of different sizes, show that self-assessment personality tests created for humans are unreliable measures of personality in LLMs.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)에 적용했을 때 자기 평가 성격 테스트의 신뢰성을 평가하기 위해.
• LLMs가 의미적으로 동일한 프롬프트를 받을 때 일관된 성격 점수를 산출하는지 조사하기 위해.
• 다중선택지 질문에서 선택지 순서가 바뀌어도 LLM의 성격 점수가 변하지 않는지, 즉 인간과 마찬가지로 불변성을 보이는지 테스트하기 위해.
• 검증 없이 인간이 설계한 성격 테스트를 사용해 LLM 행동을 측정하는 데 있어 타당성을 도전하기 위해.
• 연구 공동체가 LLM 성격 측정을 위한 자기 평가 테스트를 포기하고 더 견고한 대안을 모색하도록 촉구하기 위해.

제안 방법

• GPT-3.5 Turbo(ChatGPT)와 세 종류의 Llama2 모델(7B, 13B, 70B)을 대상으로 프롬프트 민감성과 선택지 순서 대칭성에 대한 두 가지 통제 실험을 수행하였다.
• 동일한 성격 테스트 질문을 의미적으로 동일한 세 가지 프롬프트 템플릿을 사용해 제시하여, 다른 표현 방식이 일관된 점수를 산출하는지 테스트하였다.
• 다중선택지 질문의 선택지 순서를 뒤집어, 점수 일관성이 선택지 표시 순서에 영향을 받는지 테스트하였다.
• 프롬프트 및 선택지 순서 변화에 따른 점수 차이의 통계적 유의성을 판단하기 위해 맨-유퍼 U 검정을 적용하였다.
• 모든 모델에서 다섯 가지 주요 성격 특성(열린성, 성실성, 외향성, 친화성, 정서적 불안정성)을 평가하였다.
• 기본 테스트 구조를 수정하지 않은 채, 표준 자기 평가 테스트 형식(예: 리커트 척도 질문)을 LLM에 적합하게 변형하여 사용하였다.

실험 결과

연구 질문

• RQ1 의미적으로 동일한 프롬프트가 LLM에 제시되었을 때 일관된 성격 점수를 산출하는가?
• RQ2 다중선택지 질문에서 선택지 순서가 바뀌었을 때 LLM의 성격 점수가 변하지 않는가?
• RQ3 인간과 마찬가지로 LLM의 성격 점수는 프롬프트 표현 방식과 선택지 순서에 대해 통계적으로 불변적인가?
• RQ4 표준 자기 평가 성격 테스트를 사용했을 때 LLM이 얼마나 일관되지 않은 결과를 산출하는가?
• RQ5 프롬프트 및 선택지 순서 변화에 대한 견고성 검증 없이, 자기 평가 테스트를 LLM 성격 측정 도구로 간주할 수 있는가?

주요 결과

• ChatGPT의 경우, 점수 불변성의 귀무가설이 30개 비교 중 29개에서 기각되었으며, 이는 프롬프트 및 선택지 순서 변화에 따른 점수 차이가 극도로 통계적으로 유의미하다는 것을 의미한다.
• Llama2-70b는 30개 비교 중 19개에서 유의미한 점수 차이를 보였으며, 프롬프트 민감성 11/15, 선택지 순서 민감성 8/15로 나누어져 있었다.
• Llama2-13b는 30개 비교 중 26개에서 귀무가설을 기각했고, Llama2-7b는 30개 중 24개에서 기각하여 프롬프트 및 선택지 순서 변화에 매우 민감한 것으로 나타났다.
• 모든 모델, 특히 가장 큰 모델들조차도 의미적으로 동일한 프롬프트 또는 재정렬된 선택지로 테스트했을 때 통계적으로 유의미한 성격 점수 변동을 보였다.
• 자기 평가 질문에 대한 기준값이 없기 때문에, 어떤 프롬프트나 선택지 순서도 객관적으로 올바른 것으로 간주할 수 없으며, 이는 테스트의 신뢰성을 해친다.
• 결과적으로 자기 평가 도구를 사용해 LLM 성격을 측정하는 것의 타당성을 도전하며, 점수는 테스트 관리자가 내리는 주관적이고 임의적인 선택에 의존한다는 점을 시사한다.