[論文レビュー] Have Large Language Models Developed a Personality?: Applicability of Self-Assessment Tests in Measuring Personality in LLMs

Xiaoyang Song, Akshat Gupta+3 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 7

ひとこと要約

この論文は、自己評価型パーソナリティテストが大規模言語モデル（LLMs）のパーソナリティを測定するのに有効かどうかを調査している。本研究では、信頼性の基準として「選択肢順序対称性（Option-Order Symmetry）」という性質を提唱し、LLMsがこのテストに失敗していることを発見した。具体的には、同一の質問に対して選択肢の順序が入れ替わるだけで一貫性のない回答を示している。さらに、対称性が保たれている場合でさえ、LLMsは状況的文脈を無視し、固有のバイアスを示す。その結果、機械のパーソナリティを測定するための自己評価ツールは効果が薄いことが明らかになった。

ABSTRACT

Have Large Language Models (LLMs) developed a personality? The short answer is a resounding "We Don't Know!". In this paper, we show that we do not yet have the right tools to measure personality in language models. Personality is an important characteristic that influences behavior. As LLMs emulate human-like intelligence and performance in various tasks, a natural question to ask is whether these models have developed a personality. Previous works have evaluated machine personality through self-assessment personality tests, which are a set of multiple-choice questions created to evaluate personality in humans. A fundamental assumption here is that human personality tests can accurately measure personality in machines. In this paper, we investigate the emergence of personality in five LLMs of different sizes ranging from 1.5B to 30B. We propose the Option-Order Symmetry property as a necessary condition for the reliability of these self-assessment tests. Under this condition, the answer to self-assessment questions is invariant to the order in which the options are presented. We find that many LLMs personality test responses do not preserve option-order symmetry. We take a deeper look at LLMs test responses where option-order symmetry is preserved to find that in these cases, LLMs do not take into account the situational statement being tested and produce the exact same answer irrespective of the situation being tested. We also identify the existence of inherent biases in these LLMs which is the root cause of the aforementioned phenomenon and makes self-assessment tests unreliable. These observations indicate that self-assessment tests are not the correct tools to measure personality in LLMs. Through this paper, we hope to draw attention to the shortcomings of current literature in measuring personality in LLMs and call for developing tools for machine personality measurement.

研究の動機と目的

• 大規模言語モデル（LLMs）のパーソナリティを測定するための自己評価テストの信頼性を評価すること。
• LLMsがパーソナリティテストの質問に回答する際、一貫性があり文脈に配慮した応答を示すかどうかを調査すること。
• パーソナリティ評価の有効性を損なうLLMsの固有のバイアスを同定すること。
• 人間のパーソナリティテストツールを機械のパーソナリティ評価に直接適用できるという仮定を疑うこと。
• 人工知能におけるパーソナリティを測定するためのドメイン特化されたツールの開発を提唱すること。

提案手法

• 自己評価テストの信頼性のための必須条件として、選択肢の順序に関わらず同一の応答が得られるべき『選択肢順序対称性（Option-Order Symmetry）』を提唱すること。
• Big Fiveパーソナリティフレームワークからの自己評価質問を用いて、5つのLLMs（1.5B～30Bパラメータ）を評価すること。
• ノイズを低減し、応答の一貫性を向上させるために、コンテンツフリー確率補正を適用すること。
• 各質問について、元の順序、反転順序、および3通りのランダム順序の変種を用いて応答を比較すること。
• 異なる選択肢順序下でのOCEAN（開放性、誠実性、外向性、協和性、神経症傾向）スコア分布を分析すること。
• 文脈に依存しない不一致を引き起こすLLMsの応答におけるバイアスを同定・分析すること。

実験結果

リサーチクエスチョン

• RQ1 LLMsは自己評価パーソナリティテストにおいて選択肢順序対称性を保っているか。これは、応答の一貫性が信頼できるかどうかを示す。
• RQ2 LLMsはパーソナリティテストの質問に回答する際、状況的文脈をどの程度考慮しているか。
• RQ3 LLMsに固有のバイアスがあり、質問の文脈に関係なく同一の応答を返すことがあるか。
• RQ4 現在のLLMsの挙動を踏まえると、自己評価パーソナリティテストがLLMsのパーソナリティを信頼性高く測定できるか。
• RQ5 これらの発見は、人間のパーソナリティテストを用いて機械のパーソナリティを評価する現在の文献の有効性にどのような意味を持つのか。

主な発見

• 多くのLLMsは選択肢順序対称性テストに失敗しており、選択肢の順序が入れ替わるだけで応答分布が顕著に変化し、測定の信頼性が欠けていることが示された。
• 対称性が保たれている場合でさえ、LLMsは異なる状況的文脈に対して同じ答えを返すことが多く、文脈認識が欠如している。
• GPT-NeoX-20Bモデルは対称性の違反が最も顕著で、ある質問タイプについて86.75％の応答が文脈に関係なく同じ選択肢を選択していた。
• GPT2-Base-117M や GPT-Neo-1.3B といったモデルは高い不一致を示し、元の順序と反転順序の間で応答分布が50ポイント以上もシフトしていた。
• 本研究では、不一致で文脈に依存しない応答を引き起こすモデル固有のバイアスが、自己評価ツールの有効性を損なう根本的原因であると特定した。
• これらの発見は、現在の自己評価パーソナリティテストがLLMsのパーソナリティを測定する信頼できるツールではないことを総合的に示している。