[論文レビュー] Range-Aware Attention Network for LiDAR-based 3D Object Detection with Auxiliary Point Density Level Estimation

Yantao Lu, Xuetao Hao+4 more|arXiv (Cornell University)|Nov 18, 2021

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文では、LiDAR点群向けの軽量でリアルタイムな3D物体検出フレームワーク、Range-Aware Attention Network (RAANet) を提案する。RAAConv と呼ばれる範囲に敏感な注意メカニズムを導入することで、希釈領域と密集領域を適応的に処理し、Bird's Eye View (BEV) 特徴抽出を向上させる。さらに、補助的な密度レベル推定モジュールを用いて、隠蔽された物体の検出を向上させ、nuScenes および KITTI データセットで最先端の性能を達成し、16 Hz の推論速度を実現した。

ABSTRACT

3D object detection from LiDAR data for autonomous driving has been making remarkable strides in recent years. Among the state-of-the-art methodologies, encoding point clouds into a bird's eye view (BEV) has been demonstrated to be both effective and efficient. Different from perspective views, BEV preserves rich spatial and distance information between objects. Yet, while farther objects of the same type do not appear smaller in the BEV, they contain sparser point cloud features. This fact weakens BEV feature extraction using shared-weight convolutional neural networks (CNNs). In order to address this challenge, we propose Range-Aware Attention Network (RAANet), which extracts effective BEV features and generates superior 3D object detection outputs. The range-aware attention (RAA) convolutions significantly improve feature extraction for near as well as far objects. Moreover, we propose a novel auxiliary loss for point density estimation to further enhance the detection accuracy of RAANet for occluded objects. It is worth to note that our proposed RAA convolution is lightweight and compatible to be integrated into any CNN architecture used for detection from a BEV. Extensive experiments on the nuScenes and KITTI datasets demonstrate that our proposed approach outperforms the state-of-the-art methods for LiDAR-based 3D object detection, with real-time inference speed of 16 Hz for the full version and 22 Hz for the lite version tested on nuScenes lidar frames. The code is publicly available at our Github repository https://github.com/erbloo/RAAN.

研究の動機と目的

• 自車からの距離に応じて点群の密度が変動するBEV LiDAR点群における特徴表現の一貫性の欠如という課題に対処すること。
• 希釈した点群と曇蔽された特徴により影響を受ける遠方および隠蔽された物体の検出精度を向上させること。
• 既存のBEVベースのCNNアーキテクチャと互換性を持つ、軽量でリアルタイムな検出フレームワークを設計すること。
• 推論コストを増加させることなく、訓練時に遮蔽を認識する仕組みを導入すること。これには補助的な密度レベル推定モジュールを用いる。

提案手法

• BEV特徴マップ内の密集領域と希釈領域を別々に特徴抽出する、共有重みを持つ二重ブランチ畳み込み層 RAAConv を提案する。
• 空間的文脈に基づいて特徴マップを調整する、位置に敏感な注意マップを生成するための範囲および位置エンコーディングを導入する。
• 学習可能なスカラー値 gamma を適用し、訓練中にデータ分布の変化に適応的に注意マップをスケーリング可能にする。
• 各オブジェクトごとに点群密度レベルを予測する補助的な密度レベル推定モジュール (ADLE) を導入し、遮蔽の影響をよりよく処理できるようにネットワークをガイドする。
• 検出と密度推定のバランスをとるために、学習可能な重み λ_aux = 0.2 を用いたマルチタスク損失関数を採用する。
• 推論時には ADLE モジュールを削除することで、nuScenes で16 Hz のリアルタイム性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 BEVベースの3D物体検出器は、計算コストを増加させることなく、遠方のLiDAR点群の固有の希釈性に対処できるか？
• RQ2 軽量なコンponentsのみを用いて、注意メカニズムを設計し、BEV特徴内の希釈領域と密集領域を適応的に処理できるか？
• RQ3 補助的な密度レベル推定は、遮蔽されたまたは遠方の物体の検出性能をどの程度向上させられるか？
• RQ4 提案されたRAAConv層は、既存のBEVベースの検出器に統合可能か？推論速度に悪影響を与えないか？
• RQ5 範囲に敏感な注意メカニズムと密度レベルガイドの組み合わせは、多様なオブジェクトサイズおよび距離において一貫した性能向上をもたらすか？

主な発見

• RAANet は nuScenes データセットで最先端の性能を達成し、既存のSOTA手法よりも3D mAPおよびmAPH指標で優れている。
• 二重ブランチ構造と注意マップを備えたRAAConv層により、ベースライン比で小サイズオブジェクトの検出性能が0.9% mAP向上した。
• λ_aux = 0.2 で最適化された補助的な密度レベル推定モジュールは、特に遮蔽されたオブジェクトの検出において顕著な性能向上をもたらした。
• 完全なRAANetモデルは nuScenes で16 Hz で実行可能であり、ライトバージョンでは22 Hz を達成し、リアルタイム推論の可能性を示した。
• 定性的な結果から、RAANet はベースラインと比較して希釈領域および遮蔽領域での真陽性を増加させ、偽陽性を抑制している。
• アブレーションスタディの結果、RAAConvの各構成要素（二重ブランチ、注意マップ、学習可能なgamma）が性能向上に独立して寄与していることが確認された。