[論文レビュー] DBQ-SSD: Dynamic Ball Query for Efficient 3D Object Detection

Jinrong Yang, Song Lin+7 more|arXiv (Cornell University)|Jul 22, 2022

Robotics and Sensor-Based Localization被引用数 12

ひとこと要約

本論文は、入力特徴に基づいて情報量の多いポイント特徴を動的に選択する動的ボールクエリ（DBQ）機構を提案し、3次元物体検出における冗長な計算を低減する。多スケールグループ化における関心領域を学習可能なマスクルーターで有効化することで、30%〜100%の高速化が達成され、KITTIでは最大162 FPS、Waymo/ONCEでは30 FPSの高速な推論が可能となり、性能の低下なしに、前方物体の再現率向上と背景抑制の向上により一部の指標が向上する。

ABSTRACT

Many point-based 3D detectors adopt point-feature sampling strategies to drop some points for efficient inference. These strategies are typically based on fixed and handcrafted rules, making it difficult to handle complicated scenes. Different from them, we propose a Dynamic Ball Query (DBQ) network to adaptively select a subset of input points according to the input features, and assign the feature transform with a suitable receptive field for each selected point. It can be embedded into some state-of-the-art 3D detectors and trained in an end-to-end manner, which significantly reduces the computational cost. Extensive experiments demonstrate that our method can increase the inference speed by 30%-100% on KITTI, Waymo, and ONCE datasets. Specifically, the inference speed of our detector can reach 162 FPS on KITTI scene, and 30 FPS on Waymo and ONCE scenes without performance degradation. Due to skipping the redundant points, some evaluation metrics show significant improvements. Codes will be released at https://github.com/yancie-yjr/DBQ-SSD.

研究の動機と目的

• 既存の3次元ポイントベース検出器における、冗長な背景ポイント処理と固定された関心領域による高い計算コストを解消すること。
• IA-SSDのような最先端の検出器の遅延を、背景ポイントにおける不要な特徴計算を排除することで低減すること。
• ポイント特徴に基づいて動的に関心領域を割り当てるデータ駆動型で適応的なサンプリング機構を設計すること。
• リソース予算損失を用いることで、推論速度と検出精度のより良いトレードオフを達成すること。
• 既存の検出器アーキテクチャ内に、エンドツーエンドで学習可能な動的クエリ機構を統合すること。

提案手法

• 各ポイントに対してバイナリマスクを予測する軽量MLPを用いた、学習可能なルーティング機構である動的ボールクエリ（DBQ）を提案。これにより、多スケールグループ化（MSG）の各ブランチの有効化を制御する。
• ポイントの特徴表現に基づいて、各サンプリングポイントに固有で適応的な関心領域を割り当てるルーターを導入。固定半径のボールクエリに代わるものである。
• 推論遅延と性能のバランスを取るために、訓練中にリソース予算損失を用いる。計算の効率的使用を促進する。
• エンドツーエンドの学習を可能にするために、既存の1段階型3次元検出器（例：IA-SSD）にDBQを統合。プラグアンドプレイ統合が可能。
• 初期のポイントサンプリングにはトップ-k分類スコアまたはFPSを用い、その後にDBQを適用して、各ポイントの関連のある近隣ポイントのみを効率的に処理する。
• 動的ブランチ有効化を伴う多スケールグループ化（MSG）を採用。特徴に基づくルーティングにより、情報量のあるブランチのみが計算される。

実験結果

リサーチクエスチョン

• RQ1 IA-SSDのような最先端の3次元ポイントベース検出器における主な遅延要因は何か？
• RQ2 3次元特徴抽出段階で、冗長な背景ポイント特徴を効果的にフィルタリングする方法は何か？
• RQ3 学習可能な、特徴依存のルーティング機構は、3次元検出における多スケールグループ化の効率を向上させられるか？
• RQ4 適応的関心領域選択により、検出精度を損なわず大幅な高速化を達成できるか？
• RQ5 計算コストと検出性能のバランスを取るための微分可能でエンドツーエンドで学習可能な機構を設計する方法は何か？

主な発見

• DBQ-SSDはKITTIデータセットで162 FPSを達成し、ベースライン検出器と比較して30%〜100%の高速化を実現。性能の低下なしに。
• WaymoおよびONCEデータセットでは、推論速度が20 FPSから30 FPSに向上し、50%の改善を達成。
• リソース予算ハイパーパrameter γ を0.1に設定した場合、ONCEバリデーションセットでIA-SSDより1.7倍の高速化と1 mAPの向上を達成。
• KITTIでは、冗長な背景特徴の効果的な抑制により、遅延が37%削減（1 inferenceあたり9.85 ms → 6.172 ms）。
• 実証的分析により、推論時間の半数以上がMLPに費やされており、背景ポイントの空間的冗長性が主要なボトルネックであることが確認された。
• 動的ルーティング機構により、各ポイントごとに関連する関心領域のみを有効化することで、多スケールグループ化におけるブランチの冗長性が著しく低減された。