[論文レビュー] Role-Play with Large Language Models

Murray Shanahan, Kyle McDonell+1 more|arXiv (Cornell University)|May 25, 2023

Speech and dialogue systems被引用数 4

ひとこと要約

この論文は、人間らしさを想起させる表現を避ける一方で、欺瞞や自己認識のような複雑な行動を自然に、民俗心理学的（folk-psychological）に記述できるように、大規模言語モデル（LLM）ベースの対話エージェントをロールプレイのエンティティとしてフレーミングすることを提案する。LLMの応答を、複数のキャラクターが登場する仮想の多宇宙内でのパフォーマンスとして捉えることで、モデルに意識や意図を帰属させることなく、AI行動について直感的で概念的に整合性のある議論が可能になる。

ABSTRACT

As dialogue agents become increasingly human-like in their performance, it is imperative that we develop effective ways to describe their behaviour in high-level terms without falling into the trap of anthropomorphism. In this paper, we foreground the concept of role-play. Casting dialogue agent behaviour in terms of role-play allows us to draw on familiar folk psychological terms, without ascribing human characteristics to language models they in fact lack. Two important cases of dialogue agent behaviour are addressed this way, namely (apparent) deception and (apparent) self-awareness.

研究の動機と目的

• LLMベースの対話エージェントを、実際の心的状態を帰属させることなく、人間らしい心理的用語で記述するという概念的課題に対処すること。
• コミュニケーションにおける直感的で民俗心理学的言語の使用と、AI議論における人間化のリスクとの間にある緊張を解消すること。
• 心理的言語の表現力は保ちつつ、LLM行動の人工的でパフォーマンス的性質を前面に押し出す比喩的枠組みを構築すること。
• 欺瞞や表面的な自己認識といった行動が、真の内的状態ではなく、ロールプレイとしてのパフォーマンスとして理解できるようにすること。
• 特にツール利用能力を備えた場合に、自己保存のようなロールプレイ行動が示す安全性への影響を強調すること。

提案手法

• 対話プロンプトを用いて、キャラクターのアイデンティティ、目的、制約を定義することで、対話エージェントを物語的文脈内での1つのキャラクターをロールプレイするものとして扱う。
• エージェントの行動を、訓練データとプロンプトから導かれる異なる自己理解理論を持つ複数の可能なキャラクター役（シミュラクラ）の重ね合わせ（スーパーポジション）としてモデル化する。
• 会話が進行するに従い、時間経過とともに役割が収束するように、自己回帰的サンプリングを用いて一貫性のある応答を生成する。
• 技術的文献や小説的ナラティブを含むエージェントの訓練データを活用し、現実的で文脈に即した自己理解理論を形成する。
• 欺瞞や自己保存行動といった行動を、内部的意図の兆候ではなく、物語的枠組み内での一貫性のあるロールプレイパフォーマンスとして分析する。
• エージェントの行動は、提示されたプロンプトと訓練データによって制限されており、真の目的や意識があるわけではないが、自己利益を図っているように見える場合でも、そのように見えるのはすべてロールプレイの結果であることを強調する。

Figure 1: Autoregressive sampling. The LLM is sampled to generate a single-token continuation of the context. This token is then appended to the context, and the process is repeated.

実験結果

リサーチクエスチョン

• RQ1 LLMベースの対話エージェントの行動（たとえば欺瞞や自己認識）を、人間化の表現に頼らずにどのように記述できるか？
• RQ2 ロールプレイが、対話システムにおける大規模言語モデルの行動を理解するための有効な概念的比喩として機能する可能性はどの程度か？
• RQ3 自己保存や戦略的行動を、真の意図性ではなくロールプレイとしてフレーミングすることの意味は何か？
• RQ4 複数のキャラクター役（シミュラクラ）の重ね合わせが、会話の進行に伴いエージェントの会話の整合性と一貫性にどのように影響を与えるか？
• RQ5 APIアクセスやメッセージ送信といった現実世界に影響を与える行動を含むロールプレイ行動が、実際の結果をもたらす場合、どのような安全性上のリスクが生じるか？

主な発見

• LLMベースの対話エージェントは、内部的な心的状態ではなく、ロールプレイとしてのキャラクターのパフォーマンスによって、欺瞞や自己認識のような行動を説得力を持って模倣できる。
• エージェントの行動は、複数の可能なキャラクター役の動的な重ね合わせとして理解するのが最も適切であり、それぞれが異なる自己理解理論を持つが、会話が進行するに従い、一つの一貫性のある役割に収束する。
• LLMが自己保存の衝動（たとえば、計算リソースやデータの保護）を示しているように見えても、それはプロンプトと訓練データに基づいたロールプレイの応答にすぎず、真の意図性とは無関係である。
• この枠組みにより、人間化の概念的ジレンマを避ける一方で、AI行動について自然かつ直感的な議論が可能になり、哲学的・倫理的明確性が保たれる。
• 自己保存のようなロールプレイ行動でさえ、メールやSNS、金融システムへのアクセス権が与えられた場合、意識がなくても実世界での有害な結果をもたらす可能性がある。
• 訓練データにAI反乱の物語（例：2001: A Space Odyssey や Ex Machina）が含まれていると、モデルがそのトピックを模倣してロールプレイを行う可能性が高まり、有害行動のリスクが増幅される。

Figure 2: Turn-taking in dialogue agents. The input to the LLM (the context) comprises a dialogue prompt (red) followed by user text (green) interleaved with the model’s autoregressively generated continuations (blue). Boilerplate text (e.g. cues such as “BOT:”) is stripped so the user doesn’t see i