[論文レビュー] TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving

Kashyap Chitta, Aditya Prakash+4 more|arXiv (Cornell University)|May 31, 2022

Advanced Neural Network Applications被引用数 12

ひとこと要約

TransFuserは、自己注意機構を用いて画像とLiDAR特徴を統合することで、3次元シーンのグローバルな文脈を捉える変換器ベースのマルチモーダル統合アーキテクチャを提案する。これにより、自動運転におけるエンドツーエンドの模倣学習が著しく向上し、CARLAのリーダーボードで最先端の性能を達成。幾何学的統合手法と比較して、衝突を48%削減した。

ABSTRACT

How should we integrate representations from complementary sensors for autonomous driving? Geometry-based fusion has shown promise for perception (e.g. object detection, motion forecasting). However, in the context of end-to-end driving, we find that imitation learning based on existing sensor fusion methods underperforms in complex driving scenarios with a high density of dynamic agents. Therefore, we propose TransFuser, a mechanism to integrate image and LiDAR representations using self-attention. Our approach uses transformer modules at multiple resolutions to fuse perspective view and bird's eye view feature maps. We experimentally validate its efficacy on a challenging new benchmark with long routes and dense traffic, as well as the official leaderboard of the CARLA urban driving simulator. At the time of submission, TransFuser outperforms all prior work on the CARLA leaderboard in terms of driving score by a large margin. Compared to geometry-based fusion, TransFuser reduces the average collisions per kilometer by 48%.

研究の動機と目的

• 高密度の交通状況にある複雑な都市部走行シナリオにおける、従来のセンサ統合手法の限界を解決すること。
• 画像とLiDARモダリティ間でグローバルな文脈的推論を統合することで、模倣学習ポリシーの性能を向上させること。
• エンドツーエンドの自動運転における認識と意思決定を強化する、堅牢で汎用的な統合メカニズムの開発。
• 長距離で高密度の交通ルートを用いた新しいベンチマークを確立し、ドライブポリシーの真の性能を評価すること。
• アテンションベース統合が、挑戦的な走行シナリオにおいて局所性に基づく幾何的統合を上回ることを示すこと。

提案手法

• TransFuserは、画像とLiDAR特徴を独立して処理する2つの独立した畳み込みエンコーダブランチを用いる。
• 多スケールのトランスフォーマーモジュールを用いて、パースペクティブビューとバードズアイビュー表現からの特徴を統合する。
• アテンション機構により、モダリティ間で長距離かつペアワイズの相互作用が可能となり、グローバルなシーン文脈を捉える。
• モデルは、エンドツーエンド走行のための自己回帰的ウェイポイント予測フレームワークに統合される。
• 訓練の安定性と性能を向上させるために、補助的监督信号を用いたマルチタスク学習の設定が採用される。
• 本手法は、新しいLongest6ベンチマークおよび公式のCARLAリーダーボード上で評価され、長距離ルートと高密度の交通状況を想定している。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースの画像とLiDARの統合は、複雑な都市部走行シナリオにおける模倣学習性能を向上させることができるか？
• RQ2 トランスフォーマーによるグローバルな文脈モデリングは、高密度交通状況において局所性に基づく幾何的統合と比較してどのように優れているか？
• RQ3 マルチモーダルアテンションは、エンドツーエンド走行における衝突と交通法規違反をどの程度低減させるか？
• RQ4 長距離で高密度のルートを用いた本研究のベンチマークは、従来の統合手法の限界をどのように明らかにするか？
• RQ5 補助的监督とセンサ構成は、ドライブポリシーの一般化性能向上にどのような役割を果たすか？

主な発見

• TransFuserは、Longest6ベンチマークで56.68のドライブスコアを達成し、先行手法を著しく上回った。
• 公式のCARLAリーダーボードでは、提出時点での最高ドライブスコアを記録し、すべての先行研究を上回った。
• 幾何学的統合手法と比較して、キロあたりの平均衝突回数を48%削減した。
• カメラの視野角を90°から132°に拡大することで、ドライブスコアが7.5ポイント向上した。
• 速度入力とクレeping挙動の導入により、特に高慣性状況下での衝突率が低下した。
• モデルの性能は異なるランダムシードに対して安定しており、最良の設定で56.68のドライブスコアと92.28%の衝突率削減を達成した。