[論文レビュー] Improved Deep Reinforcement Learning with Expert Demonstrations for Urban Autonomous Driving

Haochen Liu, Zhiyu Huang+2 more|arXiv (Cornell University)|Feb 18, 2021

Traffic control and management被引用数 7

ひとこと要約

本論文は、都市部の自動運転における報酬最大化と専門家行動の模倣を同時に最適化する、ソフトアクタクリティカルに基づく強化学習からの示唆（RLfD）フレームワークを提案する。自己探索と専門家デモンストレーションのバランスを取るために、適応的優先順序付き経験再生を統合することで、より速い収束と優れた性能を達成した。シミュレートされた円形交差点シナリオでは、90%の成功率、8%の衝突率を達成し、最先端のRLおよびILベースラインを上回った。

ABSTRACT

Learning-based approaches, such as reinforcement learning (RL) and imitation learning (IL), have indicated superiority over rule-based approaches in complex urban autonomous driving environments, showing great potential to make intelligent decisions. However, current RL and IL approaches still have their own drawbacks, such as low data efficiency for RL and poor generalization capability for IL. In light of this, this paper proposes a novel learning-based method that combines deep reinforcement learning and imitation learning from expert demonstrations, which is applied to longitudinal vehicle motion control in autonomous driving scenarios. Our proposed method employs the soft actor-critic and modifies the learning process of the policy network to incorporate both the goals of maximizing reward and imitating the expert. Moreover, an adaptive prioritized experience replay is designed to sample experience from both the agent's self-exploration and expert demonstration, in order to improve sample efficiency. The proposed method is validated in a simulated urban roundabout scenario and compared with various prevailing RL and IL baselines. The results manifest that the proposed method has a faster training speed, as well as better performance in navigating safely and time-efficiently.

研究の動機と目的

• 複雑な都市部の運転シナリオにおける深層強化学習（DRL）の低データ効率と、模倣学習（IL）の一般化性能の低さを解決すること。
• 専門家デモンストレーションを組み込むことで、DRLにおけるサンプル効率と学習速度を向上させること。
• 報酬最大化と専門家模倣の統合最適化により、自律縦方向制御におけるポリシー性能と安全性を向上させること。
• 自己探索と専門家データのサンプリングのバランスを動的に制御する適応的経験再生メカニズムを設計すること。
• 多様な交通状況を想定した高精細なシミュレーテッド都市部円形交差点環境で、提案手法を検証すること。

提案手法

• 報酬関数の最大化と専門家行動の模倣を組み合わせた、変更を加えたポリシー更新を採用したソフトアクタクリティカル（SAC）フレームワークを用いる。
• エージェントの行動が専門家デモンストレーションと一致するように、ポリシー更新に模倣損失を導入し、性能の下限を保証する。
• エージェントが生成する軌道と専門家デモンストレーションの間で、サンプリング比率を動的に調整する適応的優先順序付き経験再生（PER）メカニズムを設計する。
• 経験再生バッファは、自己収集された遷移と専門家軌道を同時に格納し、訓練の進行状況とデータ品質に基づいてサンプリング重みを調整する。
• 車両制御を横方向（ピュア・プルースィット）と縦方向（提案されたRLfDで学習）に分解することで、複雑さを低減する。
• 動的交通を伴う現実的な都市部円形交差点シナリオを用いて、CARLAシミュレータでフレームワークを訓練およびテストする。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習と専門家デモンストレーションを組み合わせることで、自動運転におけるサンプル効率と学習速度が向上するか？
• RQ2 報酬最大化と専門家模倣の共同最適化が、複雑な都市部シナリオにおけるポリシーの一般化性と性能に与える影響は何か？
• RQ3 自己探索と専門家データのバランスを取る適応的経験再生が、学習の安定性と収束性をどの程度向上させるか？
• RQ4 混雑した都市部の円形交差点において、提案手法は最先端のRLおよびILベースラインと比較して、成功確率、衝突率、到着までの時間にどの程度優れているか？
• RQ5 ハイブリッドRL-ILアプローチは、純粋なルールベースまたはエンドツーエンドのIL手法よりも安全性と効率性に優れているか？

主な発見

• 提案手法はテストで90%の成功率を達成し、SAC（76%）やDQfD（80%）を含むすべてのベースライン手法を大きく上回った。
• 衝突率は8%で、SACの14%、DQfDの17%と比較して最低であった。
• 平均エピソード報酬は1205.3 ± 135.79と、すべての手法の中で最高であり、累積的性能の優位性を示した。
• 平均エピソード長は23.9 ± 6.5秒で、すべての手法の中で最短であり、目的地への到達が速いことを示した。
• ルールベースの安全制御を追加した手法は、93%の成功率と5%の衝突率を達成し、より高いロバストネスを示した。
• アブレーションスタディの結果、専門家模倣と適応的PERの組み合わせが収束を著しく加速し、最終的な性能を向上させることを確認した。