[論文レビュー] Retell, Reward, Repeat: Reinforcement Learning for Narrative Theory-Informed Story Generation

David Y. Liu, Xanthe Muston+2 more|arXiv (Cornell University)|Jan 23, 2026

Artificial Intelligence in Games被引用数 0

ひとこと要約

論文は、物語の構造理論に基づく事後訓練アプローチ（d-RLAIF）を用いた強化学習による自動物語再語りの改善を提示し、多様性と物語的慣習への整合性の点で監督付き微調整を上回る効果を示します。報酬基盤としてTodorovのNarrative Equilibriumを採用し、TimeTravelデータで評価しています。

ABSTRACT

Despite the subjective nature of storytelling, past works on automatic story generation (ASG) have relied on limited ground truths for training and evaluation. In this work, we explore reinforcement learning (d-RLAIF) as a post-training alternative to supervised fine-tuning (SFT). We first apply Todorov's Theory of Narrative Equilibrium to establish principles that define desirable ASG qualities. We prompt 7B and 14B LLM-as-judge models with our principles to test alignment with human annotators and provide reward signals during d-RLAIF. We use Gemini-3-Flash to evaluate the output of our post-trained models and compare them to human-written stories from the TimeTravel dataset. We show that d-RLAIF offers a viable alternative to supervised fine-tuning (SFT)--producing stories that are more diverse and aligned with human narrative conventions. Our paper demonstrates the promise of reinforcement learning for linguistically grounded post-training for subjective tasks such as ASG.

研究の動機と目的

• TodorovのNarrative Equilibrium理論を適用して望ましいASG品質を定義する。
• 人間の注釈とLLM判断の物語再語りにおける整合性を調査する。
• d-RLAIFを用いて物語品質報酬を最適化するようLLMsを訓練する。
• TimeTravelデータ上でd-RLAIFをSFTおよび指示調整ベースラインと比較する。

提案手法

• Todorovian基準（Equilibrium、Disruption、Recognition、Attempt、New Equilibrium）を定義し、最小-LRCの語り性スコアを導出する。
• TimeTravelの多様性フィルタリングを含む人間とAI生成再語りの注釈データセット(n=200)を整備する。
• 評価者としてLLMを利用し、GRPOに対する報酬信号を生成してLoRAアダプタを用いた方針モデルをd-RLAIFで訓練する。
• 複数の小〜中規模LLMを方針モデルとして試行（7-8B）、8B/最先端のjudges（Selene-1-mini、M-Prometheus、Gemini-3-Flash）を評価者として使用する。
• TimeTravelテスト分割でGemini-3-Flashと標準言語指標（BLEU-4、ROUGE-L）を用いて事後訓練モデルを評価する。
• 論理的、合理的、完全-N、min-LRC、Narrativityの観点でSFTおよび指示調整ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 物語理論をどのように報酬信号としてASGのLLM事後訓練に組み込むことができるか。
• RQ2 d-RLAIFで訓練されたモデルは、SFTや指示調整よりも人間の物語慣習に整合した再語りを生み出すか。
• RQ3 Narrativity対非Narrativity報酬信号の使用がモデル性能に与える影響は何か。
• RQ4 物語理論に informedなASGにおけるモデルサイズ、判定者の質、訓練効率のトレードオフはどうなるか。

主な発見

• d-RLAIFはTimeTravel再語りにおいて、監督付き微調整および指示調整モデルを一般的に上回る。
• Narrativityベースの報酬（R_N）は強力なmin-LRCスコアを生み出し、特定の基準で人間の性能に近づく。
• SFTは人間との言語的類似性（BLEU-4、ROUGE-L）とComplete-Nで最も高いが、多様性とNarrativityの犠牲となることがある。
• ローカルLLMを判定者として用いることで報酬信号を効果的に導くことができ、判定者の厳格さと報酬設定に依存する。
• 報酬スケーリング（3点対5点）は学習ダイナミクスに影響を与え、より高い粒度が必ずしもNarrativityを向上させるとは限らず、勾配飢餓のリスクがある。
• d-RLAIFによる事後訓練はより小規模データセットで収束が早く、主観的タスクの linguistically groundedな事後訓練を効率的に行えることを示唆する。