[論文レビュー] Deep Reinforcement Learning from Policy-Dependent Human Feedback

Dilip Arumugam, Jun Ki Lee+2 more|arXiv (Cornell University)|Feb 12, 2019

Reinforcement Learning in Robotics参考文献 30被引用数 31

ひとこと要約

この論文では、Minecraft などの高次元環境において、ポリシー依存のヒューマンフィードバックから複雑な行動を学習できる、Deep COACH と呼ばれる深層強化学習アルゴリズムを提案する。自己符号化器、変更されたリプレイバッファ、エントロピー正則化を用いて COACH フレームワークを拡張することで、サンプル効率の高い学習を実現。15分未満の実時間で、100件未満のヒューマンフィードバック信号でタスクを成功させることに成功した。

ABSTRACT

To widen their accessibility and increase their utility, intelligent agents must be able to learn complex behaviors as specified by (non-expert) human users. Moreover, they will need to learn these behaviors within a reasonable amount of time while efficiently leveraging the sparse feedback a human trainer is capable of providing. Recent work has shown that human feedback can be characterized as a critique of an agent's current behavior rather than as an alternative reward signal to be maximized, culminating in the COnvergent Actor-Critic by Humans (COACH) algorithm for making direct policy updates based on human feedback. Our work builds on COACH, moving to a setting where the agent's policy is represented by a deep neural network. We employ a series of modifications on top of the original COACH algorithm that are critical for successfully learning behaviors from high-dimensional observations, while also satisfying the constraint of obtaining reduced sample complexity. We demonstrate the effectiveness of our Deep COACH algorithm in the rich 3D world of Minecraft with an agent that learns to complete tasks by mapping from raw pixels to actions using only real-time human feedback in 10-15 minutes of interaction.

研究の動機と目的

• 3D環境からの生のピクセル入力などの高次元観測空間において、ヒューマンフィードバックからの深層強化学習を可能にすること。
• 非線形関数近似を必要とする複雑なドメインにヒューマンインザループRLをスケーリングする際のサンプル効率の課題に対処すること。
• ヒューマンフィードバックの疎らさとポリシー依存性にかかわらず、低サンプル複雑性を維持しながら、強力な学習を確保すること。
• Minecraft などの現実的で没入型の環境で、報酬形状なしにリアルタイムのヒューマンフィードバックから学習するというアプローチの有効性を検証すること。
• Deep TAMER や元の COACH と比較して、フィードバック効率と行動収束性の観点から、提案手法の性能を評価すること。

提案手法

• 高次元の生のピクセル観測を低次元の潜在表現に圧縮するために、自己符号化器を統合することで、深層ニューラルネットワークポリシーにCOACHアルゴリズムを適応する。
• 最近の相互作用からの経験を優先し、分布シフトを低減することで、リプレイメモリバッファを変更し、サンプル効率を向上させる。
• ポリシーネットワークに高エントロピー正則化を適用し、探索を促進し、部分的最適な行動への過早収束を防ぐ。
• ヒューマンフィードバックをアドバンテージ関数のバイアスのない推定値として扱い、アクター・クリティックフレームワークにおけるクリティックとして人間を位置づける。
• 勾配降下法を用いて、ヒューマンフィードバック信号に基づいてポリシーをエンドツーエンドで更新する損失関数を用いて学習を実行する。
• 人間のトレーナーがリアルタイムでポリシー依存のフィードバックを提供するフィードバックメカニズムを実装し、エージェントの改善に伴いフィードバック頻度を低下させる（限界効果の減少を反映）。

実験結果

リサーチクエスチョン

• RQ1 サンプル効率を損なわずに、高次元観測空間における深層ニューラルネットワークポリシーへのCOACHアルゴリズムの拡張は成功するか？
• RQ2 自己符号化器と変更されたリプレイバッファの統合は、深層HRLにおける学習安定性と収束速度にどのように影響するか？
• RQ3 行動が改善するにつれて減少するポリシー依存のヒューマンフィードバック—これは、伝統的な報酬形状と比較して、より効率的な学習をもたらすか？
• RQ4 フィードバック効率、行動の規則性、および深刻な忘れの耐性という観点から、Deep COACH は Deep TAMER より優れているか？
• RQ5 複雑な3D環境において、必要な行動に収束させるために、時間とともにヒューマンフィードバックをどの程度削減できるか？

主な発見

• Deep COACH は、Minecraft環境で10～15分の実時間のヒューマンインタラクションでタスクを完了し、100件未満のフィードバック信号で実現した。
• エージェントの行動が改善するにつれてヒューマンフィードバックが減少したため、フィードバックのポリシー依存性が確認され、アルゴリズムが人間のフィードバックパターンと整合していることが妥当性を確認した。
• Perimeter-Patrolタスクにおいて、Deep COACHエージェントは周期的な動きを効果的に学習し、規則的かつ振動的なパトロール行動を示した。これに対して、Deep TAMER では、不規則またはストップアンドスタートのパターンが見られた。
• Deep COACH は一時的な記憶の喪失（catastrophic forgetting）に対しても回復力があり、数回の更新で自己矯正が可能であった。一方、Deep TAMER は頻繁に回復不能な忘れを経験した。
• トレーニングの終盤に至り、Deep COACH のフィードバック頻度はほぼゼロにまで低下した。これは、エージェントが人間トレーナーの期待を満たすポリシーに収束したことを示している。
• 複雑な3Dタスクにおいて、サンプル効率と行動品質の両面で、元のCOACH（線形関数近似に限限）およびDeep TAMERを上回る性能を示した。