[論文レビュー] Human AI interaction loop training: New approach for interactive reinforcement learning

Néda Navidi|arXiv (Cornell University)|Mar 9, 2020

Reinforcement Learning in Robotics参考文献 25被引用数 5

ひとこと要約

本論文は、SARSAおよびA3Cアルゴリズムを用いて強化学習（RL）と模倣学習（IL）を統合するハイブリッド人間/AIインタラクションループ学習フレームワークを提案する。この手法により、サンプル効率が向上し、学習が加速される。リアルタイムの直接的（バイナリ報酬）および間接的（デモベース）フィードバックを人間の教師から得ることで、探索の負担が軽減され、Cart-Pole や Mountain Car などの連続的制御環境では、単独のRLに比べて53.8–85.7%高いデータ効率を達成する。

ABSTRACT

Reinforcement Learning (RL) in various decision-making tasks of machine learning provides effective results with an agent learning from a stand-alone reward function. However, it presents unique challenges with large amounts of environment states and action spaces, as well as in the determination of rewards. This complexity, coming from high dimensionality and continuousness of the environments considered herein, calls for a large number of learning trials to learn about the environment through Reinforcement Learning. Imitation Learning (IL) offers a promising solution for those challenges using a teacher. In IL, the learning process can take advantage of human-sourced assistance and/or control over the agent and environment. A human teacher and an agent learner are considered in this study. The teacher takes part in the agent training towards dealing with the environment, tackling a specific objective, and achieving a predefined goal. Within that paradigm, however, existing IL approaches have the drawback of expecting extensive demonstration information in long-horizon problems. This paper proposes a novel approach combining IL with different types of RL methods, namely state action reward state action (SARSA) and asynchronous advantage actor-critic (A3C) agents, to overcome the problems of both stand-alone systems. It is addressed how to effectively leverage the teacher feedback, be it direct binary or indirect detailed for the agent learner to learn sequential decision-making policies. The results of this study on various OpenAI Gym environments show that this algorithmic method can be incorporated with different combinations, significantly decreases both human endeavor and tedious exploration process.

研究の動機と目的

• 連続的かつ高次元のRL環境における高いサンプル複雑性と報酬の疎らさを解決する。
• 単独のRLや伝統的なIL手法の限界、特に長時間にわたるタスクで多数のデモが必要となる点を克服する。
• 直接的バイナリ報酬と間接的行動デモの両方のフィードバックを含む、リアルタイムでオンラインのフィードバックループに人間教師のフィードバックを統合する。
• ハイブリッドRL-ILトレーニングを用いて、順序付き意思決定タスクにおけるサンプル効率と収束速度を向上させる。
• エージェントが報酬信号と教師の指導による行動クラーニングの両方から学習する協働的かつ適応的なフレームワークを構築する。

提案手法

• ポリシーに基づく（A3C）および価値に基づく（SARSA）RLとオンライン模倣学習を統合したハイブリッドRL-ILアーキテクチャを設計する。
• リアルタイムの人間入力を処理するためのフィードバック管理モジュールを実装し、バイナリ報酬（肯定/否定）と行動デモを含む。
• オンラインILを用いて、教師の行動に基づきエージェントのポリシーを段階的に更新することで、オフラインの行動クラーニングに比べて分布シフトを低減する。
• エージェントの各行動の後に教師のフィードバックを統合し、即時のポリシー補正と動的適応を可能にする。
• 報酬形状付けとデモベースの模倣を併用して、連続的制御環境（OpenAI Gym）にハイブリッドフレームワークを適用する。
• 非同期的優位性アドバイスアーキテクチャ（A3C）とSARSAを統合的に最適化するスキームでエージェントをトレーニングし、ILが探索をガイドし、RLがポリシーを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムでの人間のフィードバック統合が、連続的RL環境における学習試行回数を顕著に削減できるか？
• RQ2 ILをポリシーに基づく（A3C）および価値に基づく（SARSA）RL手法と組み合わせることで、サンプル効率と収束速度にどのような影響を与えるか？
• RQ3 直接フィードバック（バイナリ報酬）と間接フィードバック（行動デモ）の両方を用いることで、単独のRLやILに比べて、ポリシー学習がどの程度向上するか？
• RQ4 ハイブリッドIL-RLフレームワークは、Cart-Pole や Mountain Car のような長時間・高次元制御タスクにおいて、どのように性能を発揮するか？
• RQ5 データ効率と安定性の観点から、A3CとSARSAをILと組み合わせた場合、それぞれの相対的影響は何か？

主な発見

• ハイブリッドA3C/ILは、Cart-Pole環境において、単独のSARSAに比べて85.7%高いデータ効率を達成した。
• Cart-Pole環境では、ハイブリッドA3C/ILは、単独のA3Cに比べて53.8%高いデータ効率を示し、ハイブリッドSARSA/ILに比べて14.2%高いデータ効率を示した。
• より複雑なMountain Car環境では、ハイブリッドA3C/ILは、単独のSARSAに比べて約60%高いデータ効率を達成した。
• ハイブリッドA3C/ILは収束が早く、Cart-Poleでは第70エピソードまでに安定した性能に到達した。これは、単独のA3CおよびSARSAを上回った。
• ハイブリッドSARSA/ILは、Mountain Carで第20エピソードに安定するまで著しい振動を示した。これは、価値ベース手法におけるIL統合の不安定性を示している。
• A3CにILを統合した結果、Mountain Car環境では、単独のA3Cに比べてデータ効率が33.4%向上した。