[論文レビュー] Automating Vehicles by Deep Reinforcement Learning using Task Separation with Hill Climbing

Mogens Graf Plessen|arXiv (Cornell University)|Nov 29, 2017

Reinforcement Learning in Robotics参考文献 49被引用数 8

ひとこと要約

本論文では、勾配フリーでモデルベースの深層強化学習アルゴリズムであるタスク分離による勾配上昇法（TSHC）を提案する。この手法は、複数の運動プリミティブを1つのニューラルネットワークに統合して学習することで、自律走行車両の制御を実現する。各タスクは決定論的で独立して学習され、スパarsな報酬と仮想速度制約を用いることで、高精度な制御が可能になり、わずか66パラメータのネットワークを用いて32分未満のオフライン学習で181種類の異なる操作をマスターする高速で繰り返し可能なオンライン推論が実現される。

ABSTRACT

Within the context of autonomous driving a model-based reinforcement learning algorithm is proposed for the design of neural network-parameterized controllers. Classical model-based control methods, which include sampling- and lattice-based algorithms and model predictive control, suffer from the trade-off between model complexity and computational burden required for the online solution of expensive optimization or search problems at every short sampling time. To circumvent this trade-off, a 2-step procedure is motivated: first learning of a controller during offline training based on an arbitrarily complicated mathematical system model, before online fast feedforward evaluation of the trained controller. The contribution of this paper is the proposition of a simple gradient-free and model-based algorithm for deep reinforcement learning using task separation with hill climbing (TSHC). In particular, (i) simultaneous training on separate deterministic tasks with the purpose of encoding many motion primitives in a neural network, and (ii) the employment of maximally sparse rewards in combination with virtual velocity constraints (VVCs) in setpoint proximity are advocated.

研究の動機と目的

• 自律走行車両のモデルベース制御手法におけるリアルタイム計算負荷を軽減するため、オフライン学習とオンライン推論を分離する。
• サンプリングベース、ラティスベース、MPC手法の限界を克服し、モデルの複雑さと計算可能性のトレードオフを緩和する。
• 高精度なシステムモデルに適した単純で勾配フリーなアルゴリズムを用いて、1つのニューラルネットワーク内でエンドツーエンドで運動プリミティブを学習可能にする。
• 確率的方策勾配や広範なオンライン最適化に依存せずに、高精度で繰り返し可能な制御性能を達成する。

提案手法

• 2段階の手順を用いてニューラルネットワーク制御器を学習する：オフラインで独立した決定論的タスク上で学習し、テスト時に高速なフォワード伝搬推論を実行する。
• タスク分離を活用して、複数の運動プリミティブ（例：カーブ、バック）を1つのパラメータ化された制御ネットワークに統合する。
• 報酬を極めてスパarsに設定—車両が非常に狭い許容誤差内（例：ヘディングのεψ = 1°、位置のεd = 0.25 m）に到達した場合にのみ密集報酬を与える。
• セットポイント付近に仮想速度制約（VVCs）を適用し、学習の安定性を高め、正確なゴール状態への収束を促進する。
• 勾配なしでパラメータ空間を探索可能にするために、ランダムな摂動（σpert ~ U[10,1000]）と複数回の再起動（Nrestarts = 10）を用いた勾配上昇最適化戦略を採用する。
• 状態特徴量（例：相対位置、ヘディング、速度）を正規化し、パラメータ数を最小限に抑え、高速な学習を実現するため、小型のMLP-[5,8,2]アーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 勾配フリーでモデルベースの強化学習を用いて、1つのニューラルネットワーク制御器が複数の運動プリミティブを効率的に学習できるか？
• RQ2 スパarsな報酬とVVCsを用いたタスク分離は、自律走行車両制御における学習の安定性と精度をどのように向上させるか？
• RQ3 1つのネットワークに多数のタスクを統合する場合とタスクをサブセットに分割する場合の、ネットワークサイズ、学習時間、パフォーマンスのトレードオフは何か？
• RQ4 小さな低パラメータ数のネットワークが、最小限のオンライン計算で複雑な操作（例：180°ターン）において、どの程度の高精度な制御を達成できるか？

主な発見

• TSHCアルゴリズムは、66パラメータのMLP-[5,8,2]ネットワークを181種類の異なる運動プリミティブ（1°刻みの180°ターン）を含むように学習し、10回の再起動を経て最終的な学習時間を31.1分にまで短縮した。
• 学習済み制御器はヘディング精度1°（εψ = 1°）を達成し、確率的方策勾配に依存せずに高精度な制御を実現した。
• 本手法により、確率的方策勾配手法とは異なり、繰り返し可能な決定論的な制御性能が実現された。
• 1つのタスク（例：180°ターン）で学習した場合、全181タスクを同時に学習した場合と比較して、軌道が滑らかで、前進/後退の切り替え回数も少なかった。
• 全タスク学習と単一タスク学習の比較から、1つのネットワークに多すぎるプリミティブを統合すると個々の軌道の性能が低下する傾向が示され、タスクの分割による利点が明らかになった。
• 制御の鏡像化により、同一ネットワークが対称性を活用して360°全範囲の操作に一般化可能であり、追加の学習なしに学習方策の有効範囲を2倍に拡大できた。