[論文レビュー] Open Models, Closed Minds? On Agents Capabilities in Mimicking Human Personalities through Open Large Language Models

Lucio La Cava, Andrea Tagarelli|arXiv (Cornell University)|Jan 13, 2024

Topic Modeling被引用数 4

ひとこと要約

本研究は、MBTIおよびBig Five Inventory（BFI）フレームワークを用いて、オープンソースの大規模言語モデル（LLM）エージェントにおけるパーソナリティのミミクリを調査する。その結果、オープンLLMは明確な内的パーソナリティを示すが、大多数はロールおよびパーソナリティ条件付きプロンプティングに抵抗し、「閉じた心の状態」を保つ一方で、両者の組み合わせによりミミクリ効果が向上することが分かった。

ABSTRACT

The emergence of unveiling human-like behaviors in Large Language Models (LLMs) has led to a closer connection between NLP and human psychology. Scholars have been studying the inherent personalities exhibited by LLMs and attempting to incorporate human traits and behaviors into them. However, these efforts have primarily focused on commercially-licensed LLMs, neglecting the widespread use and notable advancements seen in Open LLMs. This work aims to address this gap by employing a set of 12 LLM Agents based on the most representative Open models and subject them to a series of assessments concerning the Myers-Briggs Type Indicator (MBTI) test and the Big Five Inventory (BFI) test. Our approach involves evaluating the intrinsic personality traits of Open LLM agents and determining the extent to which these agents can mimic human personalities when conditioned by specific personalities and roles. Our findings unveil that $(i)$ each Open LLM agent showcases distinct human personalities; $(ii)$ personality-conditioned prompting produces varying effects on the agents, with only few successfully mirroring the imposed personality, while most of them being ``closed-minded'' (i.e., they retain their intrinsic traits); and $(iii)$ combining role and personality conditioning can enhance the agents' ability to mimic human personalities. Our work represents a step up in understanding the dense relationship between NLP and human psychology through the lens of Open LLMs.

研究の動機と目的

• オープンソースLLMエージェントがヒューマンパーソナリティを効果的に模倣できるかどうかを調査し、主に特許取得済みモデルに焦点を当てた研究のギャップを埋める。
• MBTIやBFIなどの標準化された心理的フレームワークを用いて、オープンLLMエージェントの内的パーソナリティ特性を評価する。
• パーソナリティ条件付きプロンプティングの有効性を評価し、エージェントの行動を変容させ、ターゲットパーソナリティプロファイルに合わせることでミミクリを可能にする。
• ロールプレイとパーソナリティ条件付きプロンプティングを組み合わせることで、エージェントのヒューマンライクなパーソナリティ特徴の模倣能力が向上するかどうかを調査する。

提案手法

• 評価の対象として、代表的なオープンソースLLMエージェント12例を、主要なオープンモデルに基づいて選定した。
• 標準化された心理的評価を実施：MBTI（マイヤーズ・ブリッグス・タイプ・インジケーター）およびBFI（Big Five Inventory）を用いて、内的パーソナリティ特性を測定した。
• パーソナリティ条件付きプロンプティングを適用し、エージェントに特定のパーソナリティタイプ（例：「外向的で誠実な人物として振る舞う」）を採用するよう指示した。
• ロール割り当て（例：「セラピストとして振る舞う」）とパーソナリティ指定を組み合わせた二重条件付き実験を実施し、相乗効果をテストした。
• プロンプティング前後におけるBFI特性スコアおよびMBTI分類の変化を測定し、ミミクリの正確性を評価した。
• モデル間での応答パターンのばらつきを分析し、条件付きプロンプティングへの一貫性と感受性を評価した。

実験結果

リサーチクエスチョン

• RQ1 オープンソースLLMエージェントは、MBTIおよびBFIによって測定された際、明確で測定可能な内的パーソナリティ特徴を示すか？
• RQ2 パーソナリティ条件付きプロンプティングは、ターゲットパーソナリティプロファイルに合わせて、オープンLLMエージェントの行動をどの程度変容させられるか？
• RQ3 ロールプレイ指示とパーソナリティ指定を組み合わせることで、単一条件付きアプローチに比べ、エージェントのヒューマンライクなパーソナリティの模倣能力が向上するか？
• RQ4 異なるオープンLLMアーキテクチャおよびサイズ間で、パーソナリティミミクリの結果はどの程度一貫しているか？

主な発見

• 各オープンLLMエージェントは、MBTIおよびBFI評価によって測定された際、明確な内的パーソナリティプロファイルを示した。
• パーソナリティ条件付きプロンプティングは限定的な成功にとどまり、一部のエージェントを除き、大多数は内的特徴を維持したままだった。これは「閉じた心の状態」の抵抗を示している。
• ロールとパーソナリティの両方の条件付きプロンプティングを組み合わせることで、ミミクリパフォーマンスが顕著に向上した。これは、エージェント行動の形成に相乗効果があることを示唆している。
• BFI評価では、二重条件付きプロンプティング下で特定の特性（例：開放性、協同性）に測定可能なシフトが認められたが、モデル間でその大きさはばらついた。
• パrameter数の多いエージェントはわずかに柔軟な行動を示したが、これは成功したミミクリの決定的要因ではなかった。
• 条件付きプロンプティングにもかかわらず、多くのエージェントは一貫性のない、あるいは表面的な特性の一致を示した。これは、深層的パーソナリティ再現の限界を示唆している。