[論文レビュー] Back-tracing Representative Points for Voting-based 3D Object Detection in Point Clouds

Bowen Cheng, Lu Sheng+3 more|arXiv (Cornell University)|Apr 13, 2021

3D Shape Modeling and Analysis参考文献 44被引用数 5

ひとこと要約

本稿では、投票中心点から代表的な点を生成的に後退追跡し、周囲のシード点を再訪問することで特徴表現を向上させる、新しい投票ベースの3次元物体検出手法BRNetを提案する。投票中心点と局所的な表面特徴の間の相互整合性を実現することで、BRNetは計算コストを最小限に抑えつつ、ScanNet V2で+7.5%、SUN RGB-Dで+4.7%のmAP@0.50という最先端の性能を達成した。

ABSTRACT

3D object detection in point clouds is a challenging vision task that benefits various applications for understanding the 3D visual world. Lots of recent research focuses on how to exploit end-to-end trainable Hough voting for generating object proposals. However, the current voting strategy can only receive partial votes from the surfaces of potential objects together with severe outlier votes from the cluttered backgrounds, which hampers full utilization of the information from the input point clouds. Inspired by the back-tracing strategy in the conventional Hough voting methods, in this work, we introduce a new 3D object detection method, named as Back-tracing Representative Points Network (BRNet), which generatively back-traces the representative points from the vote centers and also revisits complementary seed points around these generated points, so as to better capture the fine local structural features surrounding the potential objects from the raw point clouds. Therefore, this bottom-up and then top-down strategy in our BRNet enforces mutual consistency between the predicted vote centers and the raw surface points and thus achieves more reliable and flexible object localization and class prediction results. Our BRNet is simple but effective, which significantly outperforms the state-of-the-art methods on two large-scale point cloud datasets, ScanNet V2 (+7.5% in terms of mAP@0.50) and SUN RGB-D (+4.7% in terms of mAP@0.50), while it is still lightweight and efficient. Code will be available at https://github.com/cheng052/BRNet.

研究の動機と目的

• 現在の投票ベースの3次元検出器が、部分的または外れ値の影響を受けるシード点特徴に起因する限界を解消すること。
• 投票中心点から代表的な点を生成することで、物体の拡大をよりよく推定し、オブジェクトプロポーザルの品質を向上させること。
• 代表的な点の周囲のシード点を再訪問することで、局所的な構造的特徴の学習を強化すること。
• ボトムアップとトップダウンの特徴相互作用戦略により、よりロバストで正確な3次元検出を実現すること。
• 大規模なベンチマークで既存手法を著しく上回る性能を発揮しながらも、モデルの効率性を維持すること。

提案手法

• 投票クラスタ中心点が予測する3次元領域内に、クラスに依存しない均一な点をサンプリングする代表的な点生成モジュール。
• 投票クラスタ中心点から仮想的な代表的な点を生成する後退追跡処理により、物体の拡大を推定する。
• 各代表的な点の固定半径内にあるシード点を収集する再訪問メカニズムにより、微細な表面詳細を捉える。
• 再訪問されたシード点の特徴と投票特徴を統合するリファインメントモジュールにより、プロポーザルの品質を向上させる。
• 後退追跡、再訪問、リファインメントを投票ベースの検出パイプラインに統合した、エンドツーエンドで学習可能なフレームワーク。
• 代表的な点のサンプリングに、レイトレースベースとグリッドベースの両方の戦略を用い、アブレーションにより同等の性能が得られることを確認。

実験結果

リサーチクエスチョン

• RQ1 投票中心点から代表的な点を生成的に後退追跡することで、物体の拡大をよりよく推定し、3次元物体検出の性能が向上するか？
• RQ2 後退追跡された代表的な点の周囲のシード点を再訪問することで、局所的な構造的特徴表現が向上するか？
• RQ3 投票特徴とリファインされたシード特徴の間の相互整合性が、より正確なボクセルボックスおよび分類予測をもたらすか？
• RQ4 提案手法の後退追跡および再訪問戦略は、既存の投票ベースの手法と比較して性能と効率性において優れているか？
• RQ5 検出精度と計算コストの観点から、代表的な点の最適なサンプリング戦略は何か？

主な発見

• BRNetは、先行する最先端手法と比較して、ScanNet V2でmAP@0.50に7.5%の絶対的向上を達成した。
• SUN RGB-Dでは、既存手法と比較してmAP@0.50が4.7%向上し、優れた一般化性能を示した。
• 後退追跡、再訪問、リファインメントを含む完全なパイプラインは、ベースラインの投票手法と比較して、ScanNetで約10%、SUN RGB-Dで約6%のmAP向上を達成した。
• BRNetはH3DNetの3倍速く、モデルサイズはH3DNetの4分の1でありながら、顕著に優れた性能を発揮した。
• 4つのバックボーンを用いたBRNetは、ScanNetで51.8%のmAP@0.50を達成し、H3DNetを3.7%上回りながらも、はるかに小型なモデルであった。
• アブレーションスタディにより、後退追跡と再訪問の操作が不可欠であり、両方を併用することで顕著な性能向上が得られることを確認した。