[論文レビュー] Vision-based Uneven BEV Representation Learning with Polar Rasterization and Surface Estimation

Zhi Liu, Shaoyu Chen+7 more|arXiv (Cornell University)|Jul 5, 2022

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

PolarBEVは、極座標ラスタライゼーションと反復的表面推定を用いた視覚ベースの不均一なビューアー・エイド・ビュー（BEV）表現学習手法を提案する。エゴ車両の近くにグリッドを密に、遠くに疎らに配置することで、知覚的重要性を反映させ、埋め込み分解を用いて角度・半径グリッドの関連性をモデル化する。これにより、リアルタイム推論（25 FPS）を達成し、先行手法を上回るBEVセマンティックおよびインスタンスセグメンテーション性能を実現する。

ABSTRACT

In this work, we propose PolarBEV for vision-based uneven BEV representation learning. To adapt to the foreshortening effect of camera imaging, we rasterize the BEV space both angularly and radially, and introduce polar embedding decomposition to model the associations among polar grids. Polar grids are rearranged to an array-like regular representation for efficient processing. Besides, to determine the 2D-to-3D correspondence, we iteratively update the BEV surface based on a hypothetical plane, and adopt height-based feature transformation. PolarBEV keeps real-time inference speed on a single 2080Ti GPU, and outperforms other methods for both BEV semantic segmentation and BEV instance segmentation. Thorough ablations are presented to validate the design. The code will be released at \url{https://github.com/SuperZ-Liu/PolarBEV}.

研究の動機と目的

• 視覚ベースの自動運転認識における均等に分布したBEVグリッドの限界を解決すること。
• 極座標幾何と角度／半径埋め込みを活用して、BEV表現における空間的依存関係をより効果的にモデル化すること。
• 深度予測ではなく高さに基づく変換を用いることで、2Dから3Dへの特徴対応を改善すること。
• 大規模なBEV空間においても高精度なセグメンテーションを維持しながら、リアルタイム推論速度を達成すること。
• 自動運転で一般的な長尾的・距離依存的シナリオにおいて、効率的かつ正確な認識を可能にすること。

提案手法

• エゴ車両の近くに密に、遠くに疎らに配置する距離依存のグリッド分布を反映させるために、極座標を用いてBEV空間をラスタライズする。
• 3次元空間的位置に基づく極座標グリッド間の関連性をモデル化するため、角度固有および半径固有の埋め込みを導入する。
• 反復的BEV表面推定を提案：仮想平面を初期化し、グリッドの高さを段階的に修正することで2Dから3Dへの対応を向上させる。
• 深度分布の代わりに高さに基づく特徴変換を用いることで、予測誤差と計算コストを低減する。
• リング畳み込みと極座標埋め込み分解を適用し、極座標グリッド表現における特徴学習を強化する。
• 推定された表面高さに従って微分可能変換をガイドすることで、画像特徴からBEV特徴マップを再構築する。

実験結果

リサーチクエスチョン

• RQ1 距離依存のグリッド分布を持つ極座標ラスタライゼーションは、計算コストを低減しつつBEV表現の質を向上させることができるか？
• RQ2 角度固有および半径固有の埋め込みは、不均一なBEVグリッドにおける特徴学習をどのように向上させるか？
• RQ3 高さに基づく変換を用いた反復的表面推定は、深度に基づく特徴リフトと比較して精度と効率の両面で優れているか？
• RQ4 極座標BEVグリッドの解像度は、セグメンテーション性能とメモリ使用量にどの程度影響を与えるか？
• RQ5 反復的表面推定のステップ数は、推論速度とセグメンテーション精度にどのように影響するか？

主な発見

• PolarBEVは1枚の2080Ti GPUで25 FPSの推論速度を達成し、自動運転システムにおけるリアルタイム展開を可能にする。
• nuScenesベンチマークにおいて、BEVセマンティックセグメンテーション（IoU: 41.28%）とインスタンスセグメンテーション（PQ: 35.21%）の両面で、先行SOTA手法を上回る性能を発揮する。
• 2ステップの反復的表面推定が、精度と速度の最適なトレードオフを達成し、1ステップおよび6ステップのバージョンを上回る性能を示す。
• 極座標埋め込み分解を用いることで、ベースラインと比較してIoUが0.55向上、PQが0.36向上し、グリッド間関連性のモデル化における有効性が実証された。
• 角度および半径の解像度を向上させることで性能が向上し、精度とメモリ使用量のバランスを最適化するため、最適解像度は400×100に設定された。
• 高さ推定の数値範囲が小さいため、深度ベースのアプローチと比較して予測誤差が顕著に低減された。