[論文レビュー] Carl-Lead: Lidar-based End-to-End Autonomous Driving with Contrastive Deep Reinforcement Learning

Peide Cai, Sukai Wang+2 more|arXiv (Cornell University)|Sep 17, 2021

Autonomous Vehicle Technology and Safety参考文献 26被引用数 7

ひとこと要約

Carl-Leadは、遮蔽やセンサーノイズによる部分観測下でも、ラジアルベースのエンドツーエンド自動運転ポリシーを対照的深層強化学習を用いて訓練することで、規制のない都市交差点を扱う。無教師対照的学習を補助タスクとして統合することで、サンプル効率と一般化性能が向上し、未確認の環境（例：円形交差点）において、SOTAの学習ベース手法よりも高い成功確率、ルールベースシステムよりも優れた安全性と効率のトレードオフを達成した。

ABSTRACT

Autonomous driving in urban crowds at unregulated intersections is challenging, where dynamic occlusions and uncertain behaviors of other vehicles should be carefully considered. Traditional methods are heuristic and based on hand-engineered rules and parameters, but scale poorly in new situations. Therefore, they require high labor cost to design and maintain rules in all foreseeable scenarios. Recently, deep reinforcement learning (DRL) has shown promising results in urban driving scenarios. However, DRL is known to be sample inefficient, and most previous works assume perfect observations such as ground-truth locations and motions of vehicles without considering noises and occlusions, which might be a too strong assumption for policy deployment. In this work, we use DRL to train lidar-based end-to-end driving policies that naturally consider imperfect partial observations. We further use unsupervised contrastive representation learning as an auxiliary task to improve the sample efficiency. The comparative evaluation results reveal that our method achieves higher success rates than the state-of-the-art (SOTA) lidar-based end-to-end driving network, better trades off safety and efficiency than the carefully tuned rule-based method, and generalizes better to new scenarios than the baselines. Demo videos are available at https://caipeide.github.io/carl-lead/.

研究の動機と目的

• 部分観測環境（遮蔽やセンサーノイズによるもの）が一般的な規制のない都市交差点においても対応可能なエンドツーエンド自動運転ポリシーの開発。
• 高次元で現実世界の運転シナリオにおける遮蔽やノイズを伴う状況下で、深層強化学習（DRL）のサンプル非効率性を解消すること。
• 生ラジアル点群からの強力な表現学習を通じて、未確認のシナリオ（例：円形交差点）への一般化性能を向上させること。
• 手作業によるルールや真値状態情報への依存を低減し、現実の認識条件でも展開可能となるようにすること。
• 補助タスクとしての無教師対照的表現学習を活用し、訓練効率とドライブ性能を向上させること。

提案手法

• 入力として生ラジアル点群を用い、遮蔽やノイズを含む現実のセンサ制限を模倣した部分観測を形成する。
• エンドツーエンドポリシー学習のため、D3QN（ダーリング構造とノイズネットワークを備えた深層Qネットワーク）をコアDRLアルゴリズムとして採用し、試行錯誤による学習を実施する。
• 時間的系列観測からの不変表現を学習する補助的対照的学習ブランチを導入し、特徴量の質とサンプル効率を向上させる。
• 対照的学習の目的関数は、同一系列の増幅観測（ポジティブビュー）間の一致を最大化し、異なる系列（ネガティブビュー）間の一致を最小化することを目的とする。
• モデルフリーかつオフポリシーな学習手法を採用することで、他の車両の多様で不確実な行動に適応可能となる。
• 勾配ベースの属性割り当てに基づき、関連する環境要因への注目度を可視化することで、ポリシーの解釈にセマンティックマップを用いる。

実験結果

リサーチクエスチョン

• RQ1 部分観測に限定された限られたデータで学習したDRLベースのエンドツーエンド走行ポリシーは、未確認の都市交差点シナリオ（例：円形交差点）に対しても効果的に一般化可能か？
• RQ2 遮蔽やノイズ下でのラジアルベース自動運転において、無教師対照的表現学習がサンプル効率と性能にどのように寄与するか？
• RQ3 提案手法は、教師あり模倣学習ベースラインおよび細かくチューニングされたルールベースシステムの両方を、成功確率、安全性、効率性の観点で上回るか？
• RQ4 部分観測と時間的ダイナミクスに基づいて、他の車両の意図（例：攻撃的 vs. 優しい行動）をどれほど正確に推定できるか？
• RQ5 セマンティックマップで明らかにされたモデルの注目度が、複雑なシナリオにおける人間中心の運転論理とどの程度整合しているか？

主な発見

• 未確認の円形交差点シナリオにおいて、Carl-Leadは68.5%の成功確率を達成し、同じ条件下でルールベース手法の35%と比べて約2倍高い。
• 保護のない左折やレーン合流を含む、すべての評価タスクにおいて、すべての教師あり模倣学習ベースラインを成功確率で上回った。
• T-Leftタスクでは、SOTAの模倣学習ベースラインよりも顕著に高い93.5%の成功確率を達成した。
• モデルはベースラインよりも新しい環境への一般化性能に優れており、交通パターンや幾何構造の分布シフトに対しても頑健であることを示した。
• 定性的な分析から、エージェントが時間的観測系列に基づき、攻撃的車両に対してブレーキをかける、譲る車両に対して加速するなど、動的かつ適応的な行動をとっていることが明らかになった。
• セマンティックマップ分析により、ポリシーが文脈依存的に関連する交通参加者や将来の経路に注目していることが確認され、知的な意思決定を反映していることが示された。