[論文レビュー] Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning

Jianyu Chen, Shengbo Eben Li+1 more|arXiv (Cornell University)|Jan 23, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 24

ひとこと要約

本稿では、ラティント深層強化学習フレームワークを提案し、解釈可能なエンドツーエンド都市自動走行を実現する。順序付きラティン環境モデルが、生のカメラおよびライダー入力を低次元ラティン空間に圧縮する。本手法により、意味的ベーシックエイドマスクの復元を通じてポリシーの解釈可能性が実現され、DQN、DDPG、TD3、SACベースラインと比較して、複雑な都市シナリオにおいて優れた性能を発揮する。再構築されたマスクと真値マスクの平均ピクセル差は0.032である。

ABSTRACT

Unlike popular modularized framework, end-to-end autonomous driving seeks to solve the perception, decision and control problems in an integrated way, which can be more adapting to new scenarios and easier to generalize at scale. However, existing end-to-end approaches are often lack of interpretability, and can only deal with simple driving tasks like lane keeping. In this paper, we propose an interpretable deep reinforcement learning method for end-to-end autonomous driving, which is able to handle complex urban scenarios. A sequential latent environment model is introduced and learned jointly with the reinforcement learning process. With this latent model, a semantic birdeye mask can be generated, which is enforced to connect with a certain intermediate property in today's modularized framework for the purpose of explaining the behaviors of learned policy. The latent space also significantly reduces the sample complexity of reinforcement learning. Comparison tests with a simulated autonomous car in CARLA show that the performance of our method in urban scenarios with crowded surrounding vehicles dominates many baselines including DQN, DDPG, TD3 and SAC. Moreover, through masked outputs, the learned policy is able to provide a better explanation of how the car reasons about the driving environment. The codes and videos of this work are available at our github repo and project website.

研究の動機と目的

• エンドツーエンドの深層強化学習における解釈可能性の欠如に対処すること。
• 共同ラティン環境モデルを用いて、複雑な都市走行ポリシーの学習におけるサンプルの複雑さを低減すること。
• 学習されたラティン状態とオブジェクト検出や位置特定などのモジュラフレームワークコンponentsを対応させることで、ポリシー意思決定の説明を可能にすること。
• 単なる車線維持などの簡単なタスクを超えて、混雑で動的な都市シナリオにおける一般化性とパフォーマンスを向上させること。
• エンドツーエンド統合を損なわずに、エンドツーエンド学習と解釈可能でモジュラ的な推論を橋渡しするフレームワークを提供すること。

提案手法

• 最大エントロピー深層強化学習と同時に学習される順序付きラティン環境モデルにより、高次元の生観測（カメラおよびライダー）が低次元ラティン空間に圧縮される。
• ラティン状態は意味的ベーシックエイドマスクに復元され、走行可能な領域、レーンマーク、周囲の車両を反映する。これにより、解釈可能性が実現される。
• マスク生成は、従来のモジュラコンponents（例：オブジェクト検出、位置特定）の間接出力と整合するように制約され、従来のシステム理解への橋渡しを提供する。
• 時間的依存性をモデル化するために、確率的グラフィカルモデルを用いた変分推論フレームワークが用いられる。
• ポリシーは最大エントロピー強化学習（例：SACに類似）を用いて学習され、ラティン状態が状態表現として機能することで、サンプル効率が向上する。
• モデルは、生のセンサー入力とエンドツーエンド制御出力を用いて、CARLAシミュレータでエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層強化学習におけるラティン空間表現が、自動走行ポリシーの解釈可能性を向上させ得るか？
• RQ2 ラティン環境モデルとポリシーの共同学習は、複雑な都市走行タスクにおけるサンプルの複雑さをどのように低減するか？
• RQ3 復元された意味的ベーシックエイドマスクは、人間が理解可能な意味のある説明を、エージェントの認識と意思決定に対してどの程度提供可能か？
• RQ4 本手法は、混雑な都市走行シナリオにおいて、標準的な深層RLベースライン（例：DQN、SAC）を上回る性能を発揮するか？
• RQ5 ポリシーの失敗モードは何か？また、マスク再構築を通じて、ラティンモデルはそれらの失敗を診断するのに役立つか？

主な発見

• 提案手法は、CARLAシミュレータにおける高密度な車両環境の都市走行シナリオで、DQN、DDPG、TD3、SACを著しく上回る性能を発揮した。
• 10,000フレームのテストにおいて、再構築された意味的ベーシックエイドマスクと真値マスクとの平均ピクセル差は0.032であり、高い再構築精度を示している。
• 衝突が発生した失敗事例は解釈可能である。モデルは、周囲の車両を認識しなかったり、自車両の車線内での車両位置特定が誤っているなどの誤認識を明らかにしている。
• ラティン空間により、これらの要素（走行可能領域、レーンマーク、周囲の車両）に対して、明示的な教師信号がなくても正確な検出が可能である。
• 本手法は、生のセンサー入力から導出されたコンactかつ意味のある状態表現を提供することで、サンプルの複雑さを低減した。
• 意味的マスク復元は、エンドツーエンド学習とモジュラシステムコンponentsとの間に機能的なブリッジを提供し、ポリシー行動の事後解釈を可能にした。