[論文レビュー] HFT: Lifting Perspective Representations via Hybrid Feature Transformation

Jiayu Zou, Junrui Xiao+5 more|arXiv (Cornell University)|Apr 11, 2022

Advanced Image and Video Retrieval Techniques被引用数 10

ひとこと要約

本稿では、1台のカメラからのモノクローラル画像におけるBird's Eye View (BEV)意味セグメンテーションの精度を向上させるために、カメラモデルからの幾何的事前知識とアテンション機構によるグローバルコンテキストモデリングを組み合わせたハイブリッド特徴変換フレームワークHFTを提案する。特徴マップの分離と、幾何的トランスフォーマーとグローバルトランスフォーマーの間での相互学習を採用することで、ArgoverseおよびKITTI 3D Objectデータセットでそれぞれ13.3%および16.8%の相対的なmIoU向上を達成し、計算コストの増加は最小限に抑えられる。

ABSTRACT

Autonomous driving requires accurate and detailed Bird's Eye View (BEV) semantic segmentation for decision making, which is one of the most challenging tasks for high-level scene perception. Feature transformation from frontal view to BEV is the pivotal technology for BEV semantic segmentation. Existing works can be roughly classified into two categories, i.e., Camera model-Based Feature Transformation (CBFT) and Camera model-Free Feature Transformation (CFFT). In this paper, we empirically analyze the vital differences between CBFT and CFFT. The former transforms features based on the flat-world assumption, which may cause distortion of regions lying above the ground plane. The latter is limited in the segmentation performance due to the absence of geometric priors and time-consuming computation. In order to reap the benefits and avoid the drawbacks of CBFT and CFFT, we propose a novel framework with a Hybrid Feature Transformation module (HFT). Specifically, we decouple the feature maps produced by HFT for estimating the layout of outdoor scenes in BEV. Furthermore, we design a mutual learning scheme to augment hybrid transformation by applying feature mimicking. Notably, extensive experiments demonstrate that with negligible extra overhead, HFT achieves a relative improvement of 13.3% on the Argoverse dataset and 16.8% on the KITTI 3D Object datasets compared to the best-performing existing method. The codes are available at https://github.com/JiayuZou2020/HFT.

研究の動機と目的

• BEV意味セグメンテーションにおける既存のカメラモデルに基づく（CBFT）およびカメラモデルに依存しない（CFFT）特徴変換手法の限界を解消すること。
• パースペクティブからBEVへの特徴アップロードにおける、幾何的事前知識（CBFT）とグローバル空間相関（CFFT）のトレードオフを分析すること。
• CBFTとCFFTの両方の長所を活かし、それぞれの欠点を軽減するハイブリッドフレームワークの開発。
• 不均一な地形、上り坂／下り坂、密集した都市環境などの困難なシーンにおけるBEVセグメンテーション精度の向上。
• リアルタイムの自律走行アプリケーションに適した、計算コストをほとんど増加させない高い性能を達成すること。

提案手法

• HFTは二重ブランチアーキテクチャを採用：幾何的トランスフォーマーはIPMスタイルのレイヤーを用い、カメラパラメータと幾何的事前知識を活用して初期段階でのBEV特徴推定を実現。
• グローバルトランスフォーマーのブランチは、MLPやアテンション機構を用いて、幾何的仮定なしに長距離空間的依存関係をモデル化。
• 特徴変換の過程で二つのブランチを分離することで、シーンレイアウトの異なる側面に対する特化学習を可能に。
• 相互学習は、損失関数（L2損失が最適であると判明）を介して二つのブランチ間で実施され、知識蒸留により特徴表現を強化。
• フレームワークはモノクローラルRGB画像からエンドツーエンドに学習され、BEVの正例アノテーションによる監視を受ける。
• 標準的なmIoU指標を用いて、nuScenes、Argoverse、KITTIなどの5つのベンチマークで評価。

実験結果

リサーチクエスチョン

• RQ1 CBFTにおける幾何的事前知識とCFFTにおけるグローバル空間相関は、BEV意味セグメンテーション性能にどのように影響を与えるか？
• RQ2 CBFTとCFFTの両方のコンponentsを統合したハイブリッドアーキテクチャは、既存の最先端手法を上回る性能を達成できるか？
• RQ3 幾何的トランスフォーマーとグローバルトランスフォーマーの間での相互学習は、特徴表現とセグメンテーション精度を向上させるか？
• RQ4 CBFTと比較して、HFTは地面平面より上の領域における歪みをどの程度軽減できるか？
• RQ5 HFTは、計算コストを低く抑えながらも、リアルタイム配備に適した高い精度を維持できるか？

主な発見

• Argoverseデータセットでは、既存の最良手法に対して13.3%の相対的mIoU向上を達成。
• KITTI 3D Objectデータセットでは、最先端手法と比較して16.8%の相対的mIoU向上を達成。
• L2損失関数が相互学習において最良の性能を示し、nuScenesでは21.3%のmIoUを達成、ベースライン比で10.4%の相対的向上。
• 特に密集した都市交差点や不均一な地形のような複雑なシーンにおいて、顕著に明確なオブジェクト境界を生成。
• 上り坂／下り坂の斜面や高架構造物のような困難なシナリオにおいても、CBFTが歪みを生じるのを効果的に回避し、CFFTが欠落する幾何的インダクティブバイアスを補完。
• 計算コストの増加をほとんど認めず、リアルタイムの自律走行認識に適した高い効率性を維持。