[論文レビュー] Character-LLM: A Trainable Agent for Role-Playing

Yunfan Shao, Linyang Li+2 more|arXiv (Cornell University)|Oct 16, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、再構築された形式化された個人的体験および感情状態の微調整により、特定の歴史的またはフィクション上の人物を模倣するトレーニング可能な言語モデルエージェント、Character-LLM を紹介する。提示された評価では、プロンプトベースのLLMと比較して記憶力と一貫性が向上し、高精細なロールプレイが達成された。

ABSTRACT

Large language models (LLMs) can be used to serve as agents to simulate human behaviors, given the powerful ability to understand human instructions and provide high-quality generated texts. Such ability stimulates us to wonder whether LLMs can simulate a person in a higher form than simple human behaviors. Therefore, we aim to train an agent with the profile, experience, and emotional states of a specific person instead of using limited prompts to instruct ChatGPT API. In this work, we introduce Character-LLM that teach LLMs to act as specific people such as Beethoven, Queen Cleopatra, Julius Caesar, etc. Our method focuses on editing profiles as experiences of a certain character and training models to be personal simulacra with these experiences. To assess the effectiveness of our approach, we build a test playground that interviews trained agents and evaluates whether the agents extit{memorize} their characters and experiences. Experimental results show interesting observations that help build future simulacra of humankind.

研究の動機と目的

• プロンプトベースのロールプレイを越えて、一貫性のある性格、感情状態、個人的体験を持つ特定のキャラクターを模倣できるトレーニング可能なエージェントの開発。
• プロンプト微調整 LLM がキャラクターの一貫性を維持し、個人的歴史を記憶する能力に制限を受ける問題の解決。
• キャラクターの既知の知識範囲に一致する保護的経験を導入することで、キャラクターエージェントにおける幻覚を低減。
• 新規のインタビュー基盤評価フレームワークを用いて、訓練済みエージェントのロールプレイシナリオにおける有効性を評価。
• LLM を用いたキャラクター模倣の構築とテストに向けたスケーラブルでオープンソースのフレームワークの提供。

提案手法

• 経験再構築：Beethoven やクレオパトラなどのキャラクターの個人的体験を形式化するため、指示従い型 LLM を用いて伝記的資料から構造化されたフラッシュバック風の場面を抽出。
• 監督付き微調整（SFT）：7B LLaMA モデルを用い、再構築された経験シーンで微調整し、キャラクター固有の行動、感情、記憶を学習。
• 保護的経験：古代の人物が現代技術を知らないなど、キャラクター固有の知識制約を導入し、LLM がキャラクター外の知識を幻覚的に生成するのを防ぐ。
• 評価フレームワーク：エージェントのパフォーマンスをテストするための新規なインタビュー基盤プレイグラウンドを採用。LLM を用いた評価者により、キャラクター記憶力と一貫性を測定。
• トレーニングパイプライン：プロファイルのキュレーション、経験抽出、SFT 微調整、保護的経験の挿入を統合し、頑健なキャラクター エージェントを構築。
• オープンソースリリース：コードとデータセットは https://github.com/choosewhatulike/trainable-agents で公開され、再現性と拡張性を確保。

実験結果

リサーチクエスチョン

• RQ1 LLM は、一貫性のある性格と感情状態を持つ特定の歴史的またはフィクション上の人物を、効果的に微調整して模倣できるか？
• RQ2 経験に基づく微調整は、ロールプレイ中にキャラクターの忠実性を維持する点で、プロンプトベースのプロンプトと比べてどのように優れているか？
• RQ3 保護的経験は、キャラクター外の知識に関して、幻覚をどの程度低減できるか？
• RQ4 訓練済みエージェントは、対話的な会話中に個人的体験をどの程度効果的に記憶・想起できるか？
• RQ5 曖昧なまたはキャラクター外の質問に直面した際、キャラクター エージェントの失敗モードや制限は何か？

主な発見

• Character-LLM エージェントは、Beethoven の厳しい育ちといったキャラクター固有の体験を効果的に記憶し、一貫して想起しており、微調整による高度なパーソナライゼーションが実現している。
• 保護的経験の使用により幻覚が顕著に低減された—例として、古代の人物が現代技術を言及するのを防ぐなど、キャラクター制約への整合性が向上した。
• 評価結果では、Alpaca や Vicuna といった指令微調整 LLM よりも、訓練済みエージェントがロールプレイインタビューにおいてキャラクターの一貫性と説得力で優れていることが示された。
• 事例研究では、曖昧な質問に対処できなかったり、保護的経験が不十分な場合に世界知識に過剰に依存するといった、非自明な失敗パターンが明らかになった。
• このフレームワークにより、高精細なロールプレイが可能となり、再構築された個人的歴史に基づいた一貫性のある感情的反応と物語の連続性を示すエージェントが実現した。
• オープンソース化されたコードとデータセットは、今後のトレーニング可能でキャラクター固有の AI エージェント研究の基盤を提供する。