[論文レビュー] DQN-TAMER: Human-in-the-Loop Reinforcement Learning with Intractable Feedback

Riku Arakawa, Sosuke Kobayashi+3 more|arXiv (Cornell University)|Oct 28, 2018

Reinforcement Learning in Robotics参考文献 23被引用数 48

ひとこと要約

DQN-TAMER は Q-learning ブランチと TAMER-スタイルの人間のフィードバックブランチを統合し、現実的な人間のフィードバック条件（二値、遅延、確率的、持続不能、自然な反応）下でより速く学習します。 Maze と Taxi でベースラインを上回り、実世界デモで暗黙的な表情フィードバックを活用できます。

ABSTRACT

Exploration has been one of the greatest challenges in reinforcement learning (RL), which is a large obstacle in the application of RL to robotics. Even with state-of-the-art RL algorithms, building a well-learned agent often requires too many trials, mainly due to the difficulty of matching its actions with rewards in the distant future. A remedy for this is to train an agent with real-time feedback from a human observer who immediately gives rewards for some actions. This study tackles a series of challenges for introducing such a human-in-the-loop RL scheme. The first contribution of this work is our experiments with a precisely modeled human observer: binary, delay, stochasticity, unsustainability, and natural reaction. We also propose an RL method called DQN-TAMER, which efficiently uses both human feedback and distant rewards. We find that DQN-TAMER agents outperform their baselines in Maze and Taxi simulated environments. Furthermore, we demonstrate a real-world human-in-the-loop RL application where a camera automatically recognizes a user's facial expressions as feedback to the agent while the agent explores a maze.

研究の動機と目的

• 長期的なクレジット割り当てと遅い報酬伝播に対処することで、ロボティクスの強化学習を動機付ける。
• 二値・遅延・確率性・持続不能・自然な反応を含む、現実的なヒューマン・イン・ザ・ループのフィードバックをモデル化する。
• 即時の人間のフィードバックと遠隔的な環境報酬を効果的に統合して学習を加速するアルゴリズムを開発する。
• シミュレーションと実世界のカメラベースの顔表情フィードバックシステムで手法の頑健性を示す。

提案手法

• 環境報酬用の Q と人間フィードバック用の H の2つの価値関数を導入する。
• 結合ポリシ pi(s) = argmax_a [ alpha_q * Q_hat(s,a) + alpha_h * H_hat(s,a) ] を定義し、alpha_h は時間とともにゼロに減衰する。
• L(H_hat) を用いた二値フィードバック学習とエピソード/ローカル/グローバルリプレイバッファを用いて、TAMER類似の補助モジュールで H を学習するよう DQN を拡張する。
• 遅延・確率的・潜在的不完全なフィードバックを許容し、フィードバック停止（持続不能）および自然な反応エラーに対する頑健性を示す。
• 表情を分類して黙示的なフィードバックを生成し、DQN-TAMER に統合するリアルタイムシステムを提供する。

実験結果

リサーチクエスチョン

• RQ1 ヒューマンフィードバックが二値・遅延・確率的で、収束前に停止する可能性がある場合、DQN-TAMER はどのように性能を発揮するか？
• RQ2 エージェントは即時の人間フィードバックと遠隔の環境報酬を効果的に組み合わせて学習を加速できるか？
• RQ3 暗黙的フィードバックの認識誤差（例: 顔表情分類器）に対して手法は頑健か？
• RQ4 模擬フィードバックを超えた実世界の人間を含むループシナリオへ適用拡張できるか？

主な発見

• DQN-TAMER は Maze および Taxi タスクで、報酬整形を用いた DQN および Deep TAMER よりも速く学習し、より良い性能を達成する。
• 遅延・確率性・フィードバックの持続不能性に対して頑健で、ベースラインが低下する場面でも優れた性能を維持する。
• 人間のフィードバックによる最初の指針が探索を加速し、alpha_h が減衰して分離されると環境報酬が支配的になる。
• 実世界のデモでは、表情フィードバック（喜び/否定）を用いる車型ロボットが、分類器エラー（約15%の誤分類）にもかかわらず迷路ナビゲーションを学習できる。
• この手法は TAMER と DQN を一般化し、alpha_h がゼロの時は DQN、alpha_q がゼロの時は Deep TAMER として振る舞う。