[論文レビュー] Cross-view Transformers for real-time Map-view Semantic Segmentation

Brady Zhou, Philipp Krähenbühl|arXiv (Cornell University)|May 5, 2022

Advanced Image and Video Retrieval Techniques被引用数 11

ひとこと要約

本論文では、カメラに特化した位置埋め込みを用いて、カメラの内部・外部パラメータを学習することで、暗黙的な幾何的マッピングを学習する、リアルタイムで注意メカニズムに基づくモデル、Cross-View Transformersを提案する。複数のカメラ入力からマップビューのセマンティックセグメンテーションを実現し、明示的な深度推定を回避することで、1つのGPUで35 FPSの推論速度を達成し、精度と速度の両面で先行手法を上回る。

ABSTRACT

We present cross-view transformers, an efficient attention-based model for map-view semantic segmentation from multiple cameras. Our architecture implicitly learns a mapping from individual camera views into a canonical map-view representation using a camera-aware cross-view attention mechanism. Each camera uses positional embeddings that depend on its intrinsic and extrinsic calibration. These embeddings allow a transformer to learn the mapping across different views without ever explicitly modeling it geometrically. The architecture consists of a convolutional image encoder for each view and cross-view transformer layers to infer a map-view semantic segmentation. Our model is simple, easily parallelizable, and runs in real-time. The presented architecture performs at state-of-the-art on the nuScenes dataset, with 4x faster inference speeds. Code is available at https://github.com/bradyz/cross_view_transformers.

研究の動機と目的

• 自動運転における複数のカメラビューからの耐障害的でリアルタイムなマップビューのセマンティックセグメンテーションの課題に対処すること。
• 誤差が生じやすく幾何学的に硬直的な明示的な深度推定に依存しないこと。
• 注意メカニズムを用いて、カメラビューと標準的なマップビュー間の暗黙的な幾何的関係を学習すること。
• 従来の手法よりも推論速度と精度を向上させつつ、センサの故障にも耐性を保つこと。
• 明示的な幾何モデリングを伴わず、キャリブレーション済みのカメラ幾何を学習された位置埋め込みによって活用すること。

提案手法

• 各カメラビューに対して畳み込み型画像エンコーダーを用いて局所的特徴を抽出する。
• カメラの内部・外部パラメータに基づいて、幾何的関係を符号化するカメラに特化した位置埋め込みを学習する。
• クロスビュー変換層は、共有のマップビュー位置埋め込みを用いて、すべてのカメラ特徴間で多頭注目を実行する。
• 注目メカニズムは、明示的な幾何的投影を伴わず、個々のカメラビュー特徴を統一されたマップビュー表現にマッピングすることを学習する。
• マップビュー表現を精緻化するために、複数のスタックされた注目とMLPブロックを用いる。
• モデルは、マップビューでのセグメンテーション損失を最小化するように、エンドツーエンドに学習し、監視を通じて深度と幾何を暗黙的に学習する。

Figure 1 : We introduce an architecture for perception in a map-view frame from multiple views. Our model builds a map-view representation by cross-attending to image features. A camera-aware positional embedding can geometrically link up the camera and map-views.

実験結果

リサーチクエスチョン

• RQ1 明示的な幾何モデリングや深度監視なしに、トランスフォーマー基盤のアーキテクチャが正確なクロスビュー特徴マッピングを学習できるか？
• RQ2 カメラに特化した位置埋め込みは、なしまたは学習された埋め込みと比較して、マップビューのセマンティックセグメンテーションにどのように寄与するか？
• RQ3 センサの故障や遮蔽が生じた場合、モデルの一般化性能はどの程度維持されるか？
• RQ4 エゴ車両からの距離が増加するにつれて、性能はどの程度低下するか？
• RQ5 注目メカニズムは、カメラビューとマップビュー間の幾何的対応関係を暗黙的に学習できるか？

主な発見

• 本モデルは、nuScenesデータセットにおいて、マップビューのセマンティックセグメンテーションでSOTA性能を達成し、精度と速度の両面で先行手法を上回る。
• 本モデルは1台のRTX 2080 Ti GPUで35 FPSで動作し、ベースライン手法と比較して4倍速い推論速度を達成する。
• ランダムフーリエ変換を用いたカメラに特化した位置埋め込みが、最も優れた性能を示し、学習済みまたは線形埋め込みを上回る。
• カメラの故障に伴う性能低下は線形的であるが、視認可能な領域が保たれていれば、依然として耐性がある。
• 最近隣の競合手法FIERYと比較して、遠方または遮蔽された物体に対しても劣化が遅く、より優れた一般化性能を示す。
• 可視化結果から、クロスビュー注目が意味のある幾何的対応関係を学習していることが確認され、マップビュー予測に寄与する関連画像領域が明確に強調されている。

Figure 2 : An overview of our proposed architecture for map-view segmentation. For each image, we extract image features across multiple scales. Using known camera pose and intrinsics, we construct a camera-aware positional embedding. We learn a map-view positional embedding that aggregates informat