[論文レビュー] Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models

Keyu Pan, Zeng YaWen|arXiv (Cornell University)|Jul 30, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文は、大規模言語モデル（LLMs）が人間らしき性格を示すかどうかを、マイヤーズ・ブリッグス性格診断（MBTI）を評価フレームワークとして用いて調査している。プロンプトベースのテストとコーパス分析を用いた結果、LLMsは訓練データおよびファインチューニングの影響を受けて一貫したMBTIタイプを示しており、T/FおよびJ/P次元が推論および計画能力の信頼できる代理指標として機能している——これはMBTIがLLMsの性格評価の粗いが有用な指標として機能しうることを示唆している。

ABSTRACT

The field of large language models (LLMs) has made significant progress, and their knowledge storage capacity is approaching that of human beings. Furthermore, advanced techniques, such as prompt learning and reinforcement learning, are being employed to address ethical concerns and hallucination problems associated with LLMs, bringing them closer to aligning with human values. This situation naturally raises the question of whether LLMs with human-like abilities possess a human-like personality? In this paper, we aim to investigate the feasibility of using the Myers-Briggs Type Indicator (MBTI), a widespread human personality assessment tool, as an evaluation metric for LLMs. Specifically, extensive experiments will be conducted to explore: 1) the personality types of different LLMs, 2) the possibility of changing the personality types by prompt engineering, and 3) How does the training dataset affect the model's personality. Although the MBTI is not a rigorous assessment, it can still reflect the similarity between LLMs and human personality. In practice, the MBTI has the potential to serve as a rough indicator. Our codes are available at https://github.com/HarderThenHarder/transformers_tasks/tree/main/LLM/llms_mbti.

研究の動機と目的

• 大規模言語モデル（LLMs）がMBTIを診断ツールとして用いることで、人間らしき性格的特徴を示すかどうかを調査すること。
• LLMsにおけるMBTI性格タイプが、プロンプト工学によって本質的か、変更可能かを調査すること。
• 訓練データの構成がLLMsのMBTIタイプに与える影響を分析すること。
• MBTIをLLMsの性格評価の粗いが意味のある指標として使用可能かどうかを評価すること。

提案手法

• 標準化されたQ&Aプロンプトベースの評価プロセスを用いて、LLMsに16タイプのMBTIフレームワークを適用する。
• 明示的および暗黙的プロンプトを用いて、LLMsが異なるMBTIタイプに誘導可能かどうかをテストする。
• Q&A、試験（APE210k）、数学データセットなどの多様なコーパスでLLMsを訓練し、それらがMBTI次元に与える影響を評価する。
• E/I、S/N、T/F、J/Pの4つの二項対立の統計的分析を通じて、MBTIタイプの変化を測定する。
• インstructチューニングおよび強化学習技術を用いて、性格の整合性に与える影響を評価する。
• 複数回のテスト実行における特徴の表現の一貫性を分析し、信頼性を評価する。

Figure 1: Personality Test of Human and LLMs. For example, INTJ individuals, as classified by the MBTI, are often regarded as masterminds who possess analytical and rigorous thinking abilities. In a similar vein, can LLMs with human-like capabilities exhibit human-like personalities?

実験結果

リサーチクエスチョン

• RQ1 異なるLLMsは、それぞれ固有のMBTI性格タイプを持つのか？
• RQ2 プロンプト工学によってLLMsのMBTIタイプを変更できるのか？
• RQ3 訓練データセットの構成がLLMsのMBTIタイプにどのように影響するのか？
• RQ4 MBTIテストは、LLMsの性格評価の合理的な（ただし形式的ではない）指標として機能できるか？

主な発見

• LLMsは一貫性があり、区別可能なMBTIタイプを示しており、GPT-4はINTJ、ChatGPTはENTJとして分類され、リーダーシップおよび分析的特徴の認識の違いが反映されている。
• インstructチューニングを施していないLLMsはMBTIタイプの変化に対して抵抗性を示すが、チューニング後は明示的および暗黙的プロンプトの両方で、MBTI分類のシフトが成功している。
• 試験コーパス（例：APE210k）で訓練すると、モデルのT値（思考）が顕著に上昇し、Bloom7bは13から15に、Llamaは9から10に上昇した。
• コーパスの種別はJ/P（判断／知覚）次元に強く影響を与え、GPT-4はChatGPTよりも高いJ値を示しており、計画および構造的思考能力が優れていることを示している。
• MBTIのT/FおよびJ/P次元は、モデル行動と強く相関しており、T値は推論能力を、J値はタスクの分解および計画能力を反映している。
• MBTIは科学的厳密性に欠けるが、T/FおよびJ/P次元は、LLMsの認知的および戦略的能力を評価する実用的で解釈可能な指標として機能している。

Figure 2: Specific scores for each dichotomy among different LLMs.