[論文レビュー] Evaluating and Inducing Personality in Pre-trained Language Models

Guangyuan Jiang, Manjie Xu+4 more|arXiv (Cornell University)|May 20, 2022

Topic Modeling被引用数 41

ひとこと要約

この論文は Machine Personality Inventory (MPI) を導入して LLM の性格を Big Five に沿って定量化し、特定の性格を誘導する prompting method (P2) を提示し、MPI と vignette tests で検証されたことを示します。

ABSTRACT

Standardized and quantified evaluation of machine behaviors is a crux of understanding LLMs. In this study, we draw inspiration from psychometric studies by leveraging human personality theory as a tool for studying machine behaviors. Originating as a philosophical quest for human behaviors, the study of personality delves into how individuals differ in thinking, feeling, and behaving. Toward building and understanding human-like social machines, we are motivated to ask: Can we assess machine behaviors by leveraging human psychometric tests in a principled and quantitative manner? If so, can we induce a specific personality in LLMs? To answer these questions, we introduce the Machine Personality Inventory (MPI) tool for studying machine behaviors; MPI follows standardized personality tests, built upon the Big Five Personality Factors (Big Five) theory and personality assessment inventories. By systematically evaluating LLMs with MPI, we provide the first piece of evidence demonstrating the efficacy of MPI in studying LLMs behaviors. We further devise a Personality Prompting (P^2) method to induce LLMs with specific personalities in a controllable way, capable of producing diverse and verifiable behaviors. We hope this work sheds light on future studies by adopting personality as the essential indicator for various downstream tasks, and could further motivate research into equally intriguing human-like machine behaviors.

研究の動機と目的

• 人間の性格理論を用いた機械挙動の標準化された定量的評価を動機づける。
• Machine Personality Inventory (MPI) を定義・展開し、LLM の Big Five 特性を測定する。
• 整合した LLM が安定的で人間らしい性格傾向を示すことを実証する。
• Personality Prompting (P2) を提案・検証し、特定の LLM の性格を誘導する。
• 誘導された性格がビニエット試験を通じて在庫タスクを超えて一般化する方法を検討する。

提案手法

• Big Five 理論に基づく IPIP-derived のアイテムを用いて MPI を構築する；MPI のアイテムは多肢選択式として構成される。
• ゼロショット QA 設定で LLM を評価し、OCEAN スコアとその標準偏差を算出する。
• 内部一貫性（sigma）を分析して MPI アイテム間の性格安定性を評価する。
• 心理学的特性記述をキーワードプロンプトと自己プロンプト記述へ変換するチェーン・プロンプティング過程として Personality Prompting (P2) を導入し、特性を誘導する。
• MPI および vignette tests でベースライン（Naive Prompting および Words Auto Prompting）と比較する。
• 人間の参加者を用いた vignette テストを用いて、誘導された人格の適用性と頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLM は心理測定テストで定量化可能な人格様特性を有しているのか。
• RQ2 特定の人格を LLM に対して制御可能かつ検証可能な形で誘導できるのか。
• RQ3 MPI の評価と構造化された現実世界のシナリオにおける LLM の挙動の相関はどの程度か。

主な発見

• MPI は特定の LLM（例：GPT-3.5 175B および Alpaca 7B）が Big Five の因子全般で人間レベルの内部的一貫性を示すことを示している。
• 整合した LLM は、OCEAN スコアにおいて人間データと比較して人間分布に類似した性格傾向を示す。
• P2 は特定の OCEAN プロファイルを成功裏に誘導し、誘導スコアは中立的なベースラインを上回り、安定性を示す。
• ビニエット試験は、P2 によって誘導された人格が人間により検出可能であり MPI タスクを超えて一般化することを示している。
• P2 は Naive Prompting および Words Auto Prompting よりも、標的とする人格特性の誘導に優れている。