[論文レビュー] Large Language Models Meet Harry Potter: A Bilingual Dataset for Aligning Dialogue Agents with Characters

Nuo Chen, Yan Wang+6 more|arXiv (Cornell University)|Nov 13, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、物語的文脈におけるフィクションの登録キャラクターとの対話エージェントの整合性を向上させるために、動的アノテーション付きのシーン、キャラクター属性、進化する関係性を備えた二か国語（英語／中国語）のベンチマーク、Harry Potter Dialogue（HPD）データセットを紹介する。強力なLLMのパフォーマンスにもかかわらず、モデルは文脈的に正確で、キャラクターに一貫性のある応答を生成できないことが判明し、物語中心の対話システムにおけるより良い整合性技術の必要性が浮き彫りになった。

ABSTRACT

In recent years, Dialogue-style Large Language Models (LLMs) such as ChatGPT and GPT4 have demonstrated immense potential in constructing open-domain dialogue agents. However, aligning these agents with specific characters or individuals remains a considerable challenge due to the complexities of character representation and the lack of comprehensive annotations. In this paper, we introduce the Harry Potter Dialogue (HPD) dataset, designed to advance the study of dialogue agents and character alignment. The dataset encompasses all dialogue sessions (in both English and Chinese) from the Harry Potter series and is annotated with vital background information, including dialogue scenes, speakers, character relationships, and attributes. These extensive annotations may empower LLMs to unlock character-driven dialogue capabilities. Furthermore, it can serve as a universal benchmark for evaluating how well can a LLM aligning with a specific character. We benchmark LLMs on HPD using both fine-tuning and in-context learning settings. Evaluation results reveal that although there is substantial room for improvement in generating high-quality, character-aligned responses, the proposed dataset is valuable in guiding models toward responses that better align with the character of Harry Potter.

研究の動機と目的

• 物語中心の文脈における特定のフィクションのキャラクターと対話エージェントを一致させる課題に対処すること。
• 動的で時間経過に伴うキャラクター属性や関係性を欠いた既存のデータセットの限界を克服すること。
• 生成ベースおよびリtrievalベースの対話エージェントを、キャラクターに一致する状況で評価するベンチマークを構築すること。
• LLMがキャラクターの発達、関係性、物語文脈に一貫した応答を生成するようにどのように導けるかを調査すること。
• 微細な物語理解を通じて、仮想環境におけるパーソナライズド対話システムを発展させるためのリソースを提供すること。

提案手法

• HPDデータセットは、ハリー・ポッター小説に登場するすべての対話セッションを英語および中国語で収集し、合計で1,042件のトレーニングおよび149件のテストセッションを含む。
• 各対話は、シーンの文脈、発話者の属性、動的キャラクター関係（例：友人、ライバル）およびこれらの関係の時間的進化をアノテートしている。
• 時間スタンプ付きのキャラクター状態の変化（例：友情の変化、感情状態の変化）を含むアノテーションにより、物語の進行を反映している。
• LLMの少数ショットイン・コンテキスト学習およびファインチューニング評価プロトコルをサポートする。
• 1〜3件の肯定的応答および9件の否定的応答を1サンプルあたり備えたテストセットにより、応答の関連性およびキャラクターの一貫性を厳密に評価可能である。
• 原典の行番号およびページ番号を使用して、生の対話を抽出するスクリプトをデータセットとともに公開しており、再現可能性および倫理的利用を確保している。

実験結果

リサーチクエスチョン

• RQ1 LLMは、キャラクターの性格、関係性、進化する物語文脈に一致する応答をどれほど適切に生成できるか。
• RQ2 現在のLLMは、キャラクター行動を模倣する際、確立された物語的事実をどれほど頻繁に捏造したり矛盾させたりするか。
• RQ3 キャラクター属性および関係性の動的アノテーションは、フィクションのキャラクターとのLLMの整合性を顕著に向上させられるか。
• RQ4 イン・コンテキスト学習およびファインチューニングの限界は、物語的一致性のある対話生成を達成する上でどのようなものか。
• RQ5 関係性のダイナミクス（例：一時的な対立）はLLMの応答生成にどのように影響するか。モデルはこのような微細なニュアンスを捉えることができるか。

主な発見

• ChatGPT や GPT-4 などのLLMは、ハリーとロンが互いに避け合う時期に和解するような、物語文脈に反する応答を頻繁に生成する。
• 広範な文脈プロンプトを提示しても、モデルは対立後にハリーがロンに会うのを避けたいという意図を正しく表現できず、友情に一貫した応答を生成してしまう。
• モデルはしばしば「はい、私、…でした」と始まる応答を生成するが、これはハリーが蛇に話しかける能力を軽視したいという意図を誤解している。
• 4冊目第19章の事例研究では、モデルがハリーの恐怖や能力を隠そうとする意図を捉えず、むしろ率直すぎたり真実を述べすぎたりする応答を生成している。
• ハリー・ポッターの世界観でトレーニングされたにもかかわらず、LLMは微細なキャラクター行動を扱うのに苦労しており、次なる単語予測だけでは深いつながりのある物語的整合性を達成できないことが示された。
• HPDベンチマークは、特に動的関係性と時間的一致性の処理において、現在のLLMの能力に顕著なギャップがあることを明らかにした。