[論文レビュー] HEDNet: A Hierarchical Encoder-Decoder Network for 3D Object Detection in Point Clouds

Gang Zhang, Junnan Chen+3 more|arXiv (Cornell University)|Oct 31, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

HEDNetは、スパースなエンコーダ・デコーダ（SED）ブロックを用いて長距離の空間的依存関係を捉えながら特徴のスパarsityを維持し、また、密度の高いエンコーダ・デコーダ（DED）ブロックを用いて特徴を物体中心へ拡張することで、点群における3次元物体検出のための階層的エンコーダ・デコーダネットワークを提案する。Waymo Open（75.0% L2 mAPH）およびnuScenes（72.0% NDS）で最先端性能を達成し、従来のトランスフォーマー基盤のSOTA手法と比較して50%高速な推論を実現した。

ABSTRACT

3D object detection in point clouds is important for autonomous driving systems. A primary challenge in 3D object detection stems from the sparse distribution of points within the 3D scene. Existing high-performance methods typically employ 3D sparse convolutional neural networks with small kernels to extract features. To reduce computational costs, these methods resort to submanifold sparse convolutions, which prevent the information exchange among spatially disconnected features. Some recent approaches have attempted to address this problem by introducing large-kernel convolutions or self-attention mechanisms, but they either achieve limited accuracy improvements or incur excessive computational costs. We propose HEDNet, a hierarchical encoder-decoder network for 3D object detection, which leverages encoder-decoder blocks to capture long-range dependencies among features in the spatial space, particularly for large and distant objects. We conducted extensive experiments on the Waymo Open and nuScenes datasets. HEDNet achieved superior detection accuracy on both datasets than previous state-of-the-art methods with competitive efficiency. The code is available at https://github.com/zhanggang001/HEDNet.

研究の動機と目的

• スパースな3次元点群において長距離の空間的依存関係を捉える課題に対処すること。
• 空間的に離れた特徴間の情報交換を制限するサブマニフォールドスパース畳み込みの限界を克服すること。
• 大カーネル畳み込みニューラルネットワークやトランスフォーマーと異なり、高い計算コストを伴わずにグローバルなコンテキストを捉える効率的なバックボーンを設計すること。
• 3次元物体検出分野において、スパース3次元CNNバックボーンにエンコーダ・デコーダアーキテクチャを適用するという、新規なアプローチを検討すること。
• マルチスケール特徴統合と空間的コンテキストモデリングを活用して、大がかりで遠方の物体の検出精度を向上させること。

提案手法

• エンコーダで特徴のダウンサンプリングとデコーダでマルチスケール特徴統合を実行するスパースエンコーダ・デコーダ（SED）ブロックを提案し、入出力のスパarsityを維持しながら長距離依存関係を捉える。
• スパース特徴を物体中心に向かって拡張することで、大がかりで遠方の物体の局所化精度を向上させる密度の高いエンコーダ・デコーダ（DED）ブロックを導入する。
• SEDブロックとDEDブロックを積み重ねることで、マルチスケール特徴学習とコンテキストモデリングを可能にする階層的エンコーダ・デコーダネットワークHEDNetを構築する。
• 3次元バックボーンとしてSEDブロックを用いて階層的特徴抽出を行い、DEDブロックで物体中心付近の特徴を精緻化することで、検出精度を向上させる。
• 2段階の検出ヘッドを採用し、階層的バックボーンによって抽出された特徴に基づいてボクセルボックスとクラススコアを予測する。
• 標準的なデータオーグメンテーションおよびトレーニングプロトコルを用いて、Waymo OpenおよびnuScenesデータセットに適応させる。

実験結果

リサーチクエスチョン

• RQ1 エンコーダ・デコーダ構造をスパース3次元畳み込みネットワークに効果的に適応することで、長距離特徴学習が向上するか？
• RQ2 サブマニフォールドスパース残差ブロックをスパースエンコーダ・デコーダブロックに置き換えることで、大がかりで遠方の3次元物体の検出精度が向上するか？
• RQ3 提案手法が、大カーネル畳み込みニューラルネットワークやトランスフォーマー基盤のバックボーンと比較して、低い計算コストで最先端性能を達成できるか？
• RQ4 エンコーダ・デコーダアーキテクチャにおけるマルチスケール特徴統合は、異なる物体サイズおよび距離における検出性能にどのように影響するか？
• RQ5 階層的設計は、スパースな点群を有する物体の局所化精度をどの程度向上させるか？

主な発見

• HEDNetはWaymo Openテストセットで75.0% L2 mAPHを達成し、大カーネル畳み込みニューラルネットワークやトランスフォーマーを用いた従来のSOTA手法を上回った。
• nuScenesデータセットでは72.0% NDSを達成し、前回SOTAのDSVTと比較して1.3%高いmAPHを記録し、新たなSOTA性能を樹立した。
• DSVT（トランスフォーマー基盤のSOTA手法）と比較して50%高速でありながら、より高い精度を達成したため、効率性と精度のトレードオフにおいて優れた性能を示した。
• 3スケールのSEDブロックを有するモデルは、単一スケールの変種を上回り、マルチスケール特徴学習が検出性能を向上させることを示した。
• 大がかりな物体（例：車両）および遠方の物体において顕著な性能向上を示し、正確な検出にためのコンテキスト情報の重要性が裏付けられた。
• 定性的な結果から、HEDNetは単一スケールバージョンのHEDNet-singleと比較して、より正確なボクセルボックスを予測し、スパース物体の方向推定をより良く行うことが確認された。