[論文レビュー] LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models

Ivar Frisch, Mario Giulianelli|arXiv (Cornell University)|Feb 5, 2024

Topic Modeling被引用数 7

ひとこと要約

本論文は、創造的なペルソナと分析的ペルソナを条件付けたGPT-3.5-turboエージェントが、相互作用時に一貫性を保ち、言語的に整合するかを、Big Five性格テストとLIWC分析を用いて検討する。

ABSTRACT

While both agent interaction and personalisation are vibrant topics in research on large language models (LLMs), there has been limited focus on the effect of language interaction on the behaviour of persona-conditioned LLM agents. Such an endeavour is important to ensure that agents remain consistent to their assigned traits yet are able to engage in open, naturalistic dialogues. In our experiments, we condition GPT-3.5 on personality profiles through prompting and create a two-group population of LLM agents using a simple variability-inducing sampling algorithm. We then administer personality tests and submit the agents to a collaborative writing task, finding that different profiles exhibit different degrees of personality consistency and linguistic alignment to their conversational partners. Our study seeks to lay the groundwork for better understanding of dialogue-based interaction between LLMs and highlights the need for new approaches to crafting robust, more human-like LLM personas for interactive environments.

研究の動機と目的

• LLMエージェントが特定の性格プロファイルに従うように形作ることができるかを調査する。
• エージェント間の相互作用中に性格条件付けされた行動が維持されるか評価する。
• エージェント集団における性格と言語の整合性を、明示的（BFI）および暗黙的（LIWC）の指標で評価する。
• 異なるペルソナを持つパートナーと対峙したときに、エージェントが言語を適応する際の非対称性を探る。

提案手法

• バリエーションを作るためにtemperatureサンプリングを通じてGPT-3.5-turboエージェントの集団をブートストラップする。
• 各エージェントをプロンプトを通じて（創造的 vs 分析的）性格プロファイルで条件付けする。
• エージェントに対して実施されるビッグファイブ性格検査（BFI）を用いて明示的な性格を評価する。
• 個別および協働の執筆課題におけるLIWCを用いて言語使用を分析し、暗黙的な性格信号を捉える。
• 非対話条件と対話条件（クロスグループ）を比較して、一貫性と整合性を評価する。

(a) Before writing

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMの挙動を特定の性格プロファイルに従うよう形作ることは可能か。
• RQ2 RQ2: LLMは相互作用において一貫した性格条件付け行動を示すか、それとも他のエージェントの性格に合わせるのか。

主な発見

• 性格の一貫性はプロファイルによって異なる。創造的なエージェントは分析的エージェントより自分のBFI特性への適合が強い。
• 非対話的な言語使用は割り当てられた性格プロファイルを明確に反映する（LIWC特徴の分類子分離が高い）。
• クロスグループ相互作用は言語的整合を高め、エージェント間の言語をより類似させるが、整合性には非対称性があり（創造的は分析的特性へより適応する）。
• 相互作用後、創造的エージェントはBFI特性表現を維持する一方、分析的エージェントは創造的特性へ部分的に収束を示す。非対話条件でより顕著で、対話条件では控えめ。
• 明示的・暗黙的指標（BFIとLIWC）は一般に割り当てられたペルソナと相関するが、相互作用はこれらの信号を性格特性によって希釈または変えることがある。

(b) After writing (no interaction)