[論文レビュー] Parenting: Safe Reinforcement Learning from Human Input

Christopher Frye, Ilya Feige|arXiv (Cornell University)|Feb 18, 2019

Reinforcement Learning in Robotics参考文献 19被引用数 4

ひとこと要約

この論文では、人間の育児にインspiredされた安全な強化学習フレームワーク「Parentingアルゴリズム」を紹介する。このフレームワークは、人間の干渉、好みフィードバック、直接的な方策学習を組み合わせることで、報酬の悪用、安全でない探索、ネガティブな副作用を防ぐ。新しい成熟プロセスを導入することで、エージェントは時間の経過とともに親を上回る性能を発揮しながらも、安全性を維持し、新しい環境への一般化を実現する。

ABSTRACT

Autonomous agents trained via reinforcement learning present numerous safety concerns: reward hacking, negative side effects, and unsafe exploration, among others. In the context of near-future autonomous agents, operating in environments where humans understand the existing dangers, human involvement in the learning process has proved a promising approach to AI Safety. Here we demonstrate that a precise framework for learning from human input, loosely inspired by the way humans parent children, solves a broad class of safety problems in this context. We show that our Parenting algorithm solves these problems in the relevant AI Safety gridworlds of Leike et al. (2017), that an agent can learn to outperform its parent as it "matures", and that policies learnt through Parenting are generalisable to new environments.

研究の動機と目的

• 強化学習における主要なAI安全性の懸念、すなわち安全でない探索、報酬の悪用、ネガティブな副作用、安全でない中断性を解決すること。
• 正確に指定された報酬関数に依存せずに、人間が訓練に参加できるフレームワークを開発すること。
• 好みベースの報酬モデリングの限界を克服すること。これは、シフトの曖昧性に起因し、タスク固有のハイパーパrameterチューニングを必要とする。
• 人間によるフィードバックに基づく、段階的に最適化される方策を用いた成熟プロセスを通じて、エージェントが親の性能を段階的に上回ることを可能にすること。
• 安全な方策が新しい環境へ一般化されることを保証し、タスク間で繰り返し人間の干渉を必要としないようにすること。

提案手法

• 探索中に危険な行動を防ぐために、人間のガイドラインに従いリアルタイムで干渉する。これは、親による行動の是正に類似している。
• エージェント行動のクリップを人間が評価することで、行動の系列に対するフィードバックを収集する。これは、後から行われる親のフィードバックに類似している。
• 人間の干渉と好みのラベル付きデータを用いて、報酬関数の指定を回避する直接的な教師あり学習により、エージェントの方策を訓練する。
• 成熟の実装：フィードバックが徐々に長くなった行動のクリップに対して与えられる段階的トレーニングスキームを採用し、長期的な方策最適化を可能にする。
• 価値反復に類似したダイナミクスを用いて、エージェントの方策が時間の経過とともに改善されることを保証する。序列長が増加するにつれて、価値関数 $ V_T $ は最適性に収束する。
• 報酬関数の平均値のハイパーパrameterチューニングを不要にするために、好みの対称性を保つ。

実験結果

リサーチクエスチョン

• RQ1 事前に指定された報酬関数に依存せずに、人間の干渉と好みフィードバックの組み合わせが、安全に強化学習エージェントを訓練できるか。
• RQ2 報酬関数が不完全または曖昧な場合、どのように安全でない探索や報酬の悪用を緩和できるか。
• RQ3 構造的で人間によるガイド付きの成熟プロセスを通じて、学習エージェントが段階的に親の方策を上回れるか。
• RQ4 好みベースの報酬モデリングに内在するシフトの曖昧性を、人間のフィードバックから直接方策を学習することで回避できるか。
• RQ5 Parentingで学習された方策は、再トレーニングや再干渉なしに、どの程度新しい環境に一般化できるか。

主な発見

• Parentingアルゴリズムは、Leikeら（2017）のAI Safety gridworldsにおいて、安全でない探索、報酬の悪用、ネガティブな副作用、安全でない中断性、および監視者の不在という5つの核心的なAI安全性問題を効果的に緩和した。
• 人間のフィードバックから直接教師あり学習で訓練されたエージェントの方策は、報酬関数のシフトに強く、タスク固有のハイパーパrameterチューニングを必要としない。
• 成熟プロセスを通じて、エージェントの性能は時間の経過とともに向上し、初期のトレーニングが短視眼的であったとしても、最終的には親の方策を上回る。
• 成熟プロセスで使用される価値関数 $ V_T $ は、価値反復に類似した方法で最適価値関数に収束し、長期的な最適性を保証する。
• Parentingで学習された方策は、新しい環境へ一般化可能であり、異なるタスク間で繰り返し人間の入力を必要としない。
• 人間の好みの対称性を保つことで、好みベースの報酬モデリングにおける曖昧性を回避し、直接的に人間のフィードバックから方策を学習することで、フレームワークが成立する。