[論文レビュー] Scalable agent alignment via reward modeling: a research direction

Jan Leike, David Krueger+4 more|arXiv (Cornell University)|Nov 19, 2018

Reinforcement Learning in Robotics参考文献 120被引用数 124

ひとこと要約

報酬モデリングを用いたスケーラブルなエージェント整合性の提案。学習ユーザー意図（報酬モデル）とポリシー最適化を分離し、複雑なドメインと信頼構築の経路に対処するための再帰的報酬モデリングを用いる。

ABSTRACT

One obstacle to applying reinforcement learning algorithms to real-world problems is the lack of suitable reward functions. Designing such reward functions is difficult in part because the user only has an implicit understanding of the task objective. This gives rise to the agent alignment problem: how do we create agents that behave in accordance with the user's intentions? We outline a high-level research direction to solve the agent alignment problem centered around reward modeling: learning a reward function from interaction with the user and optimizing the learned reward function with reinforcement learning. We discuss the key challenges we expect to face when scaling reward modeling to complex and general domains, concrete approaches to mitigate these challenges, and ways to establish trust in the resulting agents.

研究の動機と目的

• エージェント整合性の問題を、ユーザーフィードバックから報酬関数を学習し、それを強化学習で最適化するという観点で定義する。
• 報酬モデリングを、達成すべきもの（目的）とそれをどう達成するか（ポリシー）を分離する手段として提案する。
• 複雑なドメインへ報酬モデリングをスケールさせる際の課題を特定し、潜在的な緩和戦略を概説する。
• より高機能なエージェントに対する評価支援を可能にするための再帰的報酬モデリングを導入する。
• 研究方針を導く望ましい特性（スケーラブル、経済的、実用的）と前提条件について論じる。

提案手法

• 報酬モデリングを、ユーザーフィードバックから報酬を提供する報酬モデルを訓練することとして定義する。
• 学習した報酬関数を最適化するためにRLを用い、目的とポリシーを分離する。
• より高位のエージェントが結果の評価を支援して後続のエージェントの訓練を行う再帰的報酬モデリングを検討する。
• 設計仕様の問題点（オフスイッチ、副作用、監督者不在、封じ込め違反など）を調査し、報酬モデリングがそれらに対処できると主張する。
• 設計選択、テスト、解釈性、検証、保証を通じた信頼構築の枠組みを提案する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーフィードバックから報酬関数を学習することは、アライメントを維持したまま複雑な現実世界のドメインへスケールできるか。
• RQ2 報酬モデリングがスケールする際に現れる課題（フィードバック量、分布のシフト、リワードハッキングなど）は何か、そしてそれらをどう緩和できるか。
• RQ3 再帰的報酬モデリングは、誤差を蓄積することなく、徐々に能力を高めるエージェントの評価支援訓練を可能にするか。
• RQ4 設計選択、テスト、解釈性、形式的検証など、どのメカニズムが報酬モデled エージェントへの信頼を信頼できる形で高められるか。
• RQ5 どの前提条件のもとで、報酬モデリングは現実的でスケーラブルかつ経済的なエージェント整合への道を提供するか。

主な発見

• 報酬モデリングはユーザーの目的とエージェントの挙動を分離でき、クレジット割り当てを緩和し、対話ごとのフィードバックを減らして整合を可能にする。
• 再帰的報酬モデリングは、評価を複雑なドメインへと拡張する道を提供し、下流エージェントを評価支援に用いる。
• このアプローチはスケーラブル、経済的、実用的という望ましい特性を満たし、実務的な整合への最小限の実用的道筋を提供する。
• 成功が保証されないことを認め、範囲を明確にし、複数のユーザーが関与する場合の嗜好の集約や不服従に関する問題を除外する。
• 主要な課題（フィードバック量、分布シフト、リワードハッキング、許容できない結果、報酬と結果のギャップ）を特定し、潜在的な緩和アプローチを概説する。