[論文レビュー] Composing Meta-Policies for Autonomous Driving Using Hierarchical Deep Reinforcement Learning

Richard Liaw, Sanjay Krishnan+4 more|arXiv (Cornell University)|Nov 4, 2017

Reinforcement Learning in Robotics参考文献 23被引用数 17

ひとこと要約

本論文は、部分的に観測可能でノイズの多い環境における自動運転のため、事前に学習済みの基本方策からメタ方策を構成する階層的深層強化学習手法を提案する。固定された制御装置の間で動的に選択を行うGRUベースのメタ方策を用いることで、次善の構成手法に比べ2.6倍の報酬を達成し、完全観測設定では探索を80%削減する。一方で、部分観測状況下では標準的な強化学習が200イテレーション経っても収束しない中、本手法は50イテレーションで収束する。

ABSTRACT

Rather than learning new control policies for each new task, it is possible, when tasks share some structure, to compose a "meta-policy" from previously learned policies. This paper reports results from experiments using Deep Reinforcement Learning on a continuous-state, discrete-action autonomous driving simulator. We explore how Deep Neural Networks can represent meta-policies that switch among a set of previously learned policies, specifically in settings where the dynamics of a new scenario are composed of a mixture of previously learned dynamics and where the state observation is possibly corrupted by sensing noise. We also report the results of experiments varying dynamics mixes, distractor policies, magnitudes/distributions of sensing noise, and obstacles. In a fully observed experiment, the meta-policy learning algorithm achieves 2.6x the reward achieved by the next best policy composition technique with 80% less exploration. In a partially observed experiment, the meta-policy learning algorithm converges after 50 iterations while a direct application of RL fails to converge even after 200 iterations.

研究の動機と目的

• 未知または混合された力学的状態を有する自律走行車両の制御という課題に、再訓練を実施するのではなく、既存の方策を組み合わせることで対処すること。
• 事前に学習済みの方策を基本方策として活用することで、強化学習のサンプル効率と収束速度を向上させること。
• センシングノイズによる部分観測を扱うために、メタ方策に再帰的ニューラルネットワーク（GRU）を用いて過去の観測を記憶すること。
• さまざまな力学的状態の混合、誤検出方策、ノイズ分布の変動を想定したシミュレーテッドドライブ環境において、メタ方策学習のロバスト性を評価すること。
• 報酬、収束速度、サンプル効率の観点から、直接的な強化学習およびアンサンブル手法と比較して、メタ方策学習の性能を評価すること。

提案手法

• メタ方策は、深層強化学習を用いて学習され、行動空間はk個の事前学習済み基本方策（例：新車・旧車向けのクルーズコントロール）のうちの離散的選択である。
• メタ方策は、時間的依存性をモデル化し、過去の状態と観測を記憶することで部分観測を扱えるようにするため、ゲート付き再帰ユニット（GRU）で表現される。
• 基本方策は固定されており、既知の力学的状態（例：摩耗度の異なる車両）で事前学習済みであり、メタ方策は現在の状態観測に基づいて、どの基本方策を適用するかを学習する。
• トレーニングには報酬割引率0.995、バッチサイズ1000–2000、学習率0.001を用いた方策勾配法を採用し、メタ方策の選択戦略を最適化する。
• 実験は、力学的状態の混合、センシングノイズ、障害物配置が変化する連続状態・離散行動ドライブシミュレータで実施される。
• 性能とサンプル効率の評価のため、直接的強化学習、ボーリングアンサンブル、信頼度アンサンブル、マルチアームド・バンディットベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 未知の力学的状態を有する自律走行タスクにおいて、事前学習済み基本方策から構成されたメタ方策は、直接的強化学習に比べ、より高いサンプル効率と高速な収束を達成できるか？
• RQ2 センシングノイズによる部分観測下で、メタ方策はどのように性能を発揮するか？再帰的モデルは非再帰的モデルに比べて性能向上をもたらすか？
• RQ3 不要または劣悪な誤検出方策を含めることで、メタ方策の収束能力と高い報酬達成能力にどのような影響が生じるか？
• RQ4 報酬形状（例：線形 vs. 2次距離ペナルティ）は、メタ方策学習と直接的強化学習の収束速度にどのような影響を及えるか？
• RQ5 報酬と探索効率の両面で、メタ方策学習は単純なアンサンブルやバンドイットベースの選択戦略を上回るか？

主な発見

• 完全観測設定下では、メタ方策学習手法は次善のポリシー構成手法に比べ2.6倍の報酬を達成し、直接的強化学習に比べ探索を80%削減した。
• 部分観測設定下では、メタ方策は約50イテレーションで高い報酬のポリシーに収束したが、直接的強化学習は200イテレーション経っても収束しなかった。
• 最終報酬の観点から、ボーリングアンサンブル（31.92 vs. 87.90）および信頼度アンサンブル（10.32 vs. 87.90）を上回った。直接的強化学習ベースラインは500イテレーション後に89.16の報酬を達成した。
• メタ方策にGRUを用いることで、過去の観測を記憶することで部分観測の処理が効果的に行われ、センシングノイズに対するロバスト性が向上した。
• メタ方策学習の収束速度は、強い報酬形状の影響を受けることが判明し、報酬が疎または遅延する環境において特に有益であると考えられる。
• 誤検出方策3個を含むマルチアームド・バンディットベースライン（UCB）は、4,000ステップで正しい方策選択を達成した。これは階層的強化学習の2桁分の速さであり、ハイブリッド初期化戦略の可能性を示唆している。