[論文レビュー] Perceive, Attend, and Drive: Learning Spatial Attention for Safe Self-Driving

Bob Wei, Mengye Ren+4 more|arXiv (Cornell University)|Nov 2, 2020

Advanced Neural Network Applications参考文献 54被引用数 4

ひとこと要約

本論文は、認識精度ではなく、運動計画の安全性を直接最適化するエンドツーエンドの自動運転ネットワークに学習可能でスパースな空間的アテンションモジュールを提案する。データ駆動のアテンションマスクにより、重要なシーン領域に計算を集中させることで、衝突率を20%削減し、95%のスパarsityでも計画性能を向上させるとともに、アテンション可視化による解釈性の向上を実現した。

ABSTRACT

In this paper, we propose an end-to-end self-driving network featuring a sparse attention module that learns to automatically attend to important regions of the input. The attention module specifically targets motion planning, whereas prior literature only applied attention in perception tasks. Learning an attention mask directly targeted for motion planning significantly improves the planner safety by performing more focused computation. Furthermore, visualizing the attention improves interpretability of end-to-end self-driving.

研究の動機と目的

• エンドツーエンドの自動運転システムにおける認識目的（例：平均適合率）と、真の目的たる安全な運動計画との不一致を是正すること。
• 運転の安全性に影響しない無関係または遠方の物体に対する計算の無駄を削減すること。
• 計画性能を直接最適化するように学習されたアテンションマスクにより、運動計画の安全性と効率を向上させること。
• 関連するシーン領域を強調する可視化可能なアテンションマスクを通じて、エンドツーエンドモデルの解釈性を高めること。

提案手法

• 計画に重要な空間的領域に集中するように、特徴バックボーンの計算をゲーティングするスパースアテンションモジュールを導入する。
• アテンションマスク領域に基づいて損失を再重み付けするマルチタスク損失を用いて、アテンションマスクをエンドツーエンドで訓練する。
• アテンションマスクのスパarsityを促進するため、ハイパーパrameter λₐ で制御される ℓ₁ 正則化項を適用する。
• 認識と予測（PnP）損失のバランスを、アテンションマスク内・外のエージェント間で調整するため、学習可能な損失重み比 γ₁ を使用する。
• 計画性能を優先する統合学習目的関数を用いてアテンションマスクを最適化する。
• アテンションマスクの可視化を通じて、モデルが関連する交通参加者および道路領域に注目していることを検証し、解釈性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な空間的アテンション機構は、関連するシーン領域に計算を集中させることで、エンドツーエンドの自動運転システムにおける運動計画の安全性を向上させることができるか？
• RQ2 運動計画の目的に直接アテンションマスクを学習させることで、標準的な認識中心の訓練に比べて、性能と効率が向上するか？
• RQ3 アテンションマスクのスパarsityは、計画性能と計算効率にどのように影響するか？
• RQ4 アテンションベースの損失再重み付けは、重要なエージェントの認識精度を低下させることなく、計画性能を向上させることができるか？
• RQ5 アテンションマスクの可視化は、エンドツーエンドの自動運転モデルの解釈性をどの程度向上させるか？

主な発見

• 提案モデルは、密度ベースの基準と比較して、95%のアテンションスパarsityで衝突率を20%削減（0.511% 対 0.639%）した。
• スパarsityが向上するにつれて計画性能が向上し、95%スパarsityで3秒の軌道L2誤差が2.102mのピークを記録した。
• 95%スパースであるにもかかわらず、注目領域でのmAPが88.5%（IoU@0.7）に達し、密度ベースの基準より関連エージェントへの注目が優れていることが示された。
• γ₁ = 0.9 の損失再重み付けが最適な性能をもたらしたが、γ₁ = 1.0 ではアテンションマスク領域への過学習により性能が著しく低下した。
• アテンションマスクの可視化から、モデルが関連する交通参加者および道路領域に適切に注目していることが確認され、解釈性が向上した。
• 失敗事例の主な原因は追突事故であり、オープンループ評価において右折などの開放的走行選択肢への注目が不足していることが示唆された。