[論文レビュー] Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autonomous Driving

Zhiyu Huang, Jingda Wu+1 more|arXiv (Cornell University)|Mar 19, 2021

Reinforcement Learning in Robotics参考文献 29被引用数 11

ひとこと要約

本論文は、行動変革と不確実性推定を用いて人間の専門家の模倣行動を抽出することで、自己運転におけるサンプル効率の向上と報酬関数設計の簡素化を図る深層強化学習フレームワークを提案する。この方法では、専門家の事前分布とのKLダイバージェンスを用いてDRLエージェントの方策を正則化し、SACと比較して60%高いサンプル効率を達成するとともに、スパarsな報酬信号での人間らしいドライブ行動を実現する。

ABSTRACT

Deep reinforcement learning (DRL) is a promising way to achieve human-like autonomous driving. However, the low sample efficiency and difficulty of designing reward functions for DRL would hinder its applications in practice. In light of this, this paper proposes a novel framework to incorporate human prior knowledge in DRL, in order to improve the sample efficiency and save the effort of designing sophisticated reward functions. Our framework consists of three ingredients, namely expert demonstration, policy derivation, and reinforcement learning. In the expert demonstration step, a human expert demonstrates their execution of the task, and their behaviors are stored as state-action pairs. In the policy derivation step, the imitative expert policy is derived using behavioral cloning and uncertainty estimation relying on the demonstration data. In the reinforcement learning step, the imitative expert policy is utilized to guide the learning of the DRL agent by regularizing the KL divergence between the DRL agent's policy and the imitative expert policy. To validate the proposed method in autonomous driving applications, two simulated urban driving scenarios (unprotected left turn and roundabout) are designed. The strengths of our proposed method are manifested by the training results as our method can not only achieve the best performance but also significantly improve the sample efficiency in comparison with the baseline algorithms (particularly 60\% improvement compared to soft actor-critic). In testing conditions, the agent trained by our method obtains the highest success rate and shows diverse and human-like driving behaviors as demonstrated by the human expert.

研究の動機と目的

• 自己運転における深層強化学習の低サンプル効率と複雑な報酬関数設計の課題に対処すること。
• 専門家の模倣行動から得られる人間の事前知識をDRLエージェントに転送し、学習効率と方策品質を向上させること。
• スパarsな報酬信号のみを用いて人間らしいドライブ行動の出現を可能とすること。
• 専門家方策の不確実性推定とトレーニングデータサイズの性能への影響を調査すること。
• 探索を維持しつつ、専門家行動に導かれるスケーラブルなフレームワークの開発

提案手法

• シミュレーション環境で人間の専門家がドライブタスクを実行する様子を、状態-行動ペアとして収集する。
• 行動変革と不確実性推定を組み合わせることで、予測行動の信頼性を定量化する模倣専門家方策を導出する。
• DRLエージェントの方策を、その方策と模倣専門家方策との間のKLダイバージェンスの最小化によって正則化する。
• 2つの統合手法（報酬ペナルティと方策制約）を提案し、両者ともアクター・クリティック強化学習フレームワーク内に統合する。
• アンサンブル法を用いて、方策とモデルの両方の不確実性を推定する不確実性対応専門家方策を構築する。
• 本フレームワークは、非保護左折と円形交差点走行という2つの複雑な都市ドライブシナリオで検証された。

実験結果

リサーチクエスチョン

• RQ1 専門家の模倣行動を、DRLのサンプル効率を向上させる模倣専門家方策に効果的に抽出できるか？
• RQ2 専門家方策に不確実性推定を組み込むことで、DRLの学習安定性と性能にどのような影響を与えるか？
• RQ3 模倣専門家事前分布を用いることで、自己運転における複雑な報酬形状設計の必要性はどの程度低減できるか？
• RQ4 トレーニングサンプルサイズと不確実性推定手法の組み合わせが、困難なドライブタスクの性能に与える影響は？
• RQ5 提案手法は、スパarsな報酬フィードバックのみで人間らしいドライブ行動を実現できるか？

主な発見

• 提案手法は、最先端のベースラインであるSoft Actor-Critic (SAC) と比較して60%高いサンプル効率を達成した。
• 40件のトレーニングサンプルを用いた場合、慎重な非保護左折シナリオで96%の成功率を達成した（10件のサンプルでは70%）。
• スパarsな報酬環境では、報酬ペナルティ法が方策制約法を上回り、特に複雑なタスクで顕著な優位性を示した。
• 方策とモデルの両方の不確実性を推定するアンサンブルベースの専門家方策を用いることで、特に困難なシナリオでより優れた性能が得られた。
• 明示的な報酬形状なしで、攻撃的・慎重なドライブスタイルを含む多様な人間らしいドライブ行動をエージェントが学習に成功した。
• 模倣データのサイズを増やすことで、トレーニング速度と最終テスト性能の両方が向上し、特に困難なタスクで顕著な向上が観察された。