[論文レビュー] On the Effectiveness of Creating Conversational Agent Personalities Through Prompting

Heng Gu, Chadha Degachi+3 more|arXiv (Cornell University)|Oct 17, 2023

Topic Modeling被引用数 5

ひとこと要約

本研究では、GPT-3.5およびGPT-4を用いて、寄付募金分野の知識を活用して3つのパーソナリティ次元（態度：楽観的／消極的、権威：支配的／従属的、推論：分析的／感情的）を定義し、会話型エージェントにおけるプロンプトベースのパーソナリティ工学を調査した。LIWC分析の結果、GPT-4は提示されたパーソナリティ特徴と著しく一致する（19のLIWCカテゴリーのうち12つが区別可能）一方、GPT-3.5は4/19にとどまり、モデル依存のパフォーマンスが示され、一貫性のあるパーソナリティ表現を保証するためには、洗練されたプロンプト戦略の必要性が明らかになった。

ABSTRACT

In this work, we report on the effectiveness of our efforts to tailor the personality and conversational style of a conversational agent based on GPT-3.5 and GPT-4 through prompts. We use three personality dimensions with two levels each to create eight conversational agents archetypes. Ten conversations were collected per chatbot, of ten exchanges each, generating 1600 exchanges across GPT-3.5 and GPT-4. Using Linguistic Inquiry and Word Count (LIWC) analysis, we compared the eight agents on language elements including clout, authenticity, and emotion. Four language cues were significantly distinguishing in GPT-3.5, while twelve were distinguishing in GPT-4. With thirteen out of a total nineteen cues in LIWC appearing as significantly distinguishing, our results suggest possible novel prompting approaches may be needed to better suit the creation and evaluation of persistent conversational agent personalities or language styles.

研究の動機と目的

• 大規模言語モデル（LLM）が、会話型エージェントにおいて、プロンプト工学を用いて一貫して異なるパーソナリティ特徴を表現できるかどうかを調査すること。
• GPT-3.5およびGPT-4が、寄付募金文献から導出された特定のパーソナリティの原型に一致する言語スタイルをどの程度正確に生成できるかを評価すること。
• パーソナリティ次元（態度、権威、推論）のうち、LLMが生成する会話において言語的アウトプットに最も顕著に影響を与えるものかどうかを特定すること。
• LLMを搭載した会話型エージェントにおける、パーソナリティ表現の一貫性と持続性を高めるための実行可能なプロンプト戦略を提供すること。

提案手法

• 態度（楽観的／消極的）、権威（支配的／従属的）、推論（分析的／感情的）という3つの二値次元を用いて、8つのパーソナリティの原型を定義した。
• GPT-3.5およびGPT-4を用いて、各エージェントあたり10回の会話（1回あたり10交信）を生成し、合計1600交信を取得した。
• 言語的インデックスと語彙数（LIWC）分析を用い、19の心理言語的辞書カテゴリーにおける言語的特徴を測定した。
• 統計的検定を用いて、各モデルにおいて、パーソナリティの原型間で顕著に区別されるLIWCカテゴリーを同定した。
• 各パーソナリティ次元が言語的アウトプットに与える影響を評価し、モデルが提示された特徴にどの程度感受性を示すかを分析した。
• 合成語の挿入、定期的なプロンプト再挿入、および実時間LIWCベースのフィードバックループを用いた、性格のずれを是正するための新規プロンプト戦略を提案した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: プロンプト工学を用いたLLMが生成する言語は、パーソナリティ特徴と言語パターンの間の既知の関連性と一致しているか？
• RQ2 RQ2: GPT-3.5およびGPT-4は、複数の言語的次元において、提示されたパーソナリティ特徴をどの程度正確に表現できるか？
• RQ3 RQ3: パーソナリティ次元（態度、権威、推論）のうち、LLMが生成する会話において言語的アウトプットに最も顕著に影響を与えるのはどれか？
• RQ4 RQ4: LIWCカテゴリーの実時間モニタリングにより、性格のずれをフィードバック駆動で是正できるか？

主な発見

• GPT-4はGPT-3.5に比べて、提示されたパーソナリティ特徴と著しく一致しており、19のLIWCカテゴリーのうち12つがパーソナリティの原型間で顕著に区別された。
• GPT-3.5は19のLIWCカテゴリーのうち4つでのみ顕著な区別が見られ、提示されたパーソナリティの違いに対する感受性が限定的であることが示された。
• 両モデルにおいて、態度次元が言語的アウトプットに最も顕著な影響を与えており、特に感情関連および影響力（clout）関連カテゴリーに影響を及ぼした。
• 権威次元はGPT-4においてGPT-3.5よりも強い影響を示しており、特定のモデルが特定の特徴に感受性を示す可能性を示唆した。
• 推論次元は両モデルにおいて最も弱い影響を示し、分析的スタイルと感情的スタイルの間で言語的差別化が限定的であった。
• 改善は見られたが、両モデルとも19のLIWCカテゴリーすべてにおいて十分な一貫性を示さず、持続的なパーソナリティ表現を保証するためには、高度なプロンプト技術の必要性が浮き彫りになった。