[論文レビュー] HVPR: Hybrid Voxel-Point Representation for Single-stage 3D Object Detection

Jongyoun Noh, Sanghoon Lee+1 more|arXiv (Cornell University)|Apr 2, 2021

Advanced Neural Network Applications参考文献 4被引用数 4

ひとこと要約

HVPRは、メモリ拡張CNNを用いてボクセルベースとポイントベースの特徴を統合することで、高い精度と効率性を達成する1段階型3次元物体検出フレームワークを提案する。ポイントベースの特徴をメモリモジュールで保存・取得することで、リアルタイムのエンコーダ計算を回避し、高速な推論を実現しながらも、細粒度の3次元構造を保持する。KITTIのマイルドな車両検出で81.32%のmAPを達成し、36.1fpsの推論速度を実現した。

ABSTRACT

We address the problem of 3D object detection, that is, estimating 3D object bounding boxes from point clouds. 3D object detection methods exploit either voxel-based or point-based features to represent 3D objects in a scene. Voxel-based features are efficient to extract, while they fail to preserve fine-grained 3D structures of objects. Point-based features, on the other hand, represent the 3D structures more accurately, but extracting these features is computationally expensive. We introduce in this paper a novel single-stage 3D detection method having the merit of both voxel-based and point-based features. To this end, we propose a new convolutional neural network (CNN) architecture, dubbed HVPR, that integrates both features into a single 3D representation effectively and efficiently. Specifically, we augment the point-based features with a memory module to reduce the computational cost. We then aggregate the features in the memory, semantically similar to each voxel-based one, to obtain a hybrid 3D representation in a form of a pseudo image, allowing to localize 3D objects in a single stage efficiently. We also propose an Attentive Multi-scale Feature Module (AMFM) that extracts scale-aware features considering the sparse and irregular patterns of point clouds. Experimental results on the KITTI dataset demonstrate the effectiveness and efficiency of our approach, achieving a better compromise in terms of speed and accuracy.

研究の動機と目的

• 点群を用いた3次元物体検出における精度と効率性のトレードオフを解消すること。
• ボクセルベース手法の限界（細粒度構造の損失）とポイントベース手法の限界（高い計算コスト）を克服すること。
• ボクセルベースとポイントベースの特徴の長所を統合し、1つの効率的な表現として統合すること。
• ポイントベース特徴の推論コストを低下させるためのメモリモジュールを設計し、性能を損なわずに実現すること。
• スパarsityと不規則性を示すポイントクラウドに対して、3次元スケールに敏感な表現を用いてマルチスケール特徴学習を強化すること。

提案手法

• ボクセルベースとポイントベースの特徴を別々に抽出する2ストリームエンコーダを提案する。
• 推論中にポイントベース特徴を保存・取得するメモリモジュールを導入し、リアルタイムのエンコーダ計算の必要性を排除する。
• ボクセル位置に対してセマンティック類似度に基づいてメモリに保存されたポイント特徴を集約し、ハイブリッド擬似画像表現を形成する。
• 3次元スケール特徴を用いて空間アテンションによりマルチスケール特徴を精緻化する、アテンション型マルチスケール特徴モジュール（AMFM）を設計する。
• ハイブリッド擬似画像を入力として単一段階検出器に与え、エンドツーエンドの3次元バウンディングボックス予測を実現する。
• 標準的な検出ヘッドを用いてエンドツーエンドで学習し、mAPと推論速度の最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 ボクセルとポイント特徴を統合したハイブリッド3次元表現は、推論効率を維持したまま検出精度を向上させることができるか？
• RQ2 ポイントベース特徴抽出の計算コストを低下させるためにメモリモジュールがどれほど効果的か？性能の劣化なしに実現できるか？
• RQ3 スケールに敏感な特徴は、スパarsityと不規則性を示すポイントクラウドにおいて、どれほど検出性能を向上させるか？
• RQ4 ボクセルとポイント特徴の統合は、小さな物体や隠蔽された物体の局所化を改善するか？
• RQ5 提案手法は、既存の単一段階型3次元検出器と比較して、より優れた速度-精度トレードオフを達成できるか？

主な発見

• 提案されたHVPRは、KITTIのマイルドな車両検出スプリットで81.32%のmAPを達成し、ベースラインのPointPillarsと比較してハードサンプルで1.94%のmAP向上を達成した。
• メモリモジュールにより、推論時間は6.8Hz（フルポイントエンコーダ）から37.9Hzに短縮され、ベースラインのPointPillars（39.5Hz）にほぼ同等の速度を達成しながらも、高い精度を維持した。
• AMFMにおける3次元スケール特徴の使用により、ハードスプリットで1.63%のmAP向上が達成され、複雑なスケール変動への有効性が示された。
• モデルは36.1fpsの推論速度を達成し、最先端の手法と比較して優れた速度-精度トレードオフを実現した。
• アブレーションスタディにより、メモリモジュールと3次元スケール特徴を備えたAMFMが両方とも不可欠であることが確認され、後者はハードスプリットで1.27%のmAP向上を寄与した。
• mAP性能はメモリアイテム数（T）に強く依存せず、K=20の最近傍アイテムで最適な性能を示し、効果的な特徴集約が実現していることが示された。