[論文レビュー] Learning predictive representations in autonomous driving to improve deep reinforcement learning

Daniel Graves, Nhat M. Nguyen+2 more|arXiv (Cornell University)|Jun 26, 2020

Autonomous Vehicle Technology and Safety参考文献 32被引用数 9

ひとこと要約

本論文では、一般化価値関数（GVFs）を用いて、政策外の予測的表現——具体的には、将来の車線中央位置と道路の角度の予測——を学習することを提案する。これにより、自律走行における深層強化学習の性能が向上する。多様な道路状況で学習を行い、これらのマルチスケール予測をコン act な状態表現として用いることで、本手法は、シミュレーションおよび実世界のジャッカルロボットを用いたテストにおいて、未学習で損傷を受けても走行可能な車線マークの道路において、優れた汎化性能、滑らかな制御、高い耐障害性を達成した。

ABSTRACT

Reinforcement learning using a novel predictive representation is applied to autonomous driving to accomplish the task of driving between lane markings where substantial benefits in performance and generalization are observed on unseen test roads in both simulation and on a real Jackal robot. The novel predictive representation is learned by general value functions (GVFs) to provide out-of-policy, or counter-factual, predictions of future lane centeredness and road angle that form a compact representation of the state of the agent improving learning in both online and offline reinforcement learning to learn to drive an autonomous vehicle with methods that generalizes well to roads not in the training data. Experiments in both simulation and the real-world demonstrate that predictive representations in reinforcement learning improve learning efficiency, smoothness of control and generalization to roads that the agent was never shown during training, including damaged lane markings. It was found that learning a predictive representation that consists of several predictions over different time scales, or discount factors, improves the performance and smoothness of the control substantially. The Jackal robot was trained in a two step process where the predictive representation is learned first followed by a batch reinforcement learning algorithm (BCQ) from data collected through both automated and human-guided exploration in the environment. We conclude that out-of-policy predictive representations with GVFs offer reinforcement learning many benefits in real-world problems.

研究の動機と目的

• 訓練データを超える自律走行における深層強化学習ポリシーの汎化性能を向上させること。
• 政策外の予測的表現が、現実世界の環境における学習効率と耐障害性を向上させることを調査すること。
• マルチスケールの予測的表現（異なる割引率）が制御の滑らかさとパフォーマンスに与える影響を評価すること。
• GVFに基づく表現が、オフラインおよびオンライン強化学習の設定において有効であることを示すこと。
• 多様で未学習の道路状況下で、実世界のロボット（Jackal）を用いてアプローチの有効性を検証すること。

提案手法

• 将来の車線中央位置と道路の角度の反事後的で政策外の予測を学習するために、一般化価値関数（GVFs）を活用する。
• 自動走行と人間による誘導走行から得られたデータを用いて、時系列差分学習により予測的表現を学習する。
• 学習されたGVFの予測結果を、主なポリシー・ネットワークのコン act で情報豊富な状態表現として使用する。
• 予測的状態表現を用いて、バッチオフライン強化学習（BCQ）を適用してドライブポリシーを学習する。
• 異なる割引率（例：0.25、0.4）を持つ複数のGVFヘッドを設計し、異なる時間スケールでの予測を捉える。
• 2段階の学習パイプライン（まずGVFの事前学習、次にBCQによるポリシー学習）に予測的表現を統合する。

実験結果

リサーチクエスチョン

• RQ1 GVFsを用いて学習された予測的表現は、自律走行における未学習の道路へのポリシーの汎化性能を向上させることができるか？
• RQ2 マルチスケールの予測（異なる割引率）を用いることで、制御の滑らかさと学習効率にどのような影響があるか？
• RQ3 政策外の予測的表現を用いることで、オフライン強化学習設定におけるパフォーマンスが向上するか？
• RQ4 GVFベースのポリシーは、損傷または欠落した車線マークに対してどれほど耐障害性を示すか？
• RQ5 報酬、速度、制御品質の観点から、GVFベースの手法はエンドツーエンドの模倣学習（E2E-BCQ）と比較して優れているか？

主な発見

• GVF-BCQ手法は、Rectangleテスト道路で1秒あたり平均報酬2.6835を達成し、E2E-BCQ（1.2578）を大きく上回り、優れた学習効率を示した。
• 損傷したマークを有するOval道路では、GVF-BCQは正規化されたオフセンター度を0.2754に維持したが、E2E-BCQは0.3285に上昇した。これにより、耐障害性が優れていることが示された。
• GVF-0.4-CCWポリシーは、1次速度快適性を-1.3403、2次ステアリング快適性を-1.3403を達成し、MPCベースラインを上回る滑らかさを示した。
• 損傷した車線マークを有する複雑な形状の道路では、GVF-BCQ手法により、車線外れの近接事象がE2Eの0.0942から0.0に減少し、優れた安全性と安定性を示した。
• GVFヘッドに複数の割引率（例：0.25と0.4）を用いることで、単一スケールの予測よりも滑らかな制御とより良い汎化性能が得られた。
• GVFベースの手法は、トレーニング中に見なかった道路、特に欠落または損傷した車線マークを有する道路に対しても、効果的に汎化した。これは、強い分布外汎化性能を確認するものである。