[論文レビュー] From Voxel to Point: IoU-guided 3D Object Detection for Point Cloud with Voxel-to-Point Decoder

Jiale Li, Hang Dai+2 more|arXiv (Cornell University)|Aug 8, 2021

Advanced Neural Network Applications参考文献 51被引用数 6

ひとこと要約

本論文は、原始的な点群から微細な点特徴を抽出するための残差型ボクセルから点へのデコーダーを導入することで、ボクセルベースの検出を向上させるIoU誘導型2段階3次元物体検出器を提案する。予測されたIoUを精錬されたボックスに一致させ、RoIに一致した特徴とコーナー幾何埋め込みを統合することで、KITTIおよびWaymo Open Datasetで最先端の性能を達成し、mAPが顕著に向上した。

ABSTRACT

In this paper, we present an Intersection-over-Union (IoU) guided two-stage 3D object detector with a voxel-to-point decoder. To preserve the necessary information from all raw points and maintain the high box recall in voxel based Region Proposal Network (RPN), we propose a residual voxel-to-point decoder to extract the point features in addition to the map-view features from the voxel based RPN. We use a 3D Region of Interest (RoI) alignment to crop and align the features with the proposal boxes for accurately perceiving the object position. The RoI-Aligned features are finally aggregated with the corner geometry embeddings that can provide the potentially missing corner information in the box refinement stage. We propose a simple and efficient method to align the estimated IoUs to the refined proposal boxes as a more relevant localization confidence. The comprehensive experiments on KITTI and Waymo Open Dataset demonstrate that our method achieves significant improvements with novel architectures against the existing methods. The code is available on Github URL\footnote{\url{https://github.com/jialeli1/From-Voxel-to-Point}}.

研究の動機と目的

• ボクセルエンコーダーにおけるダウンサンプリングによって生じる詳細なポーズ情報の損失を解消すること。
• 初期の候補ボックスではなく、精錬された候補ボックスに予測された交差率（IoU）を一致させることで、2段階3次元物体検出における局所化精度を向上させること。
• コーナー幾何埋め込みとRoIに一致した特徴を統合することで、欠落したコーナー点を補完し、特徴表現を強化すること。
• RPN段階でのボックス再現率を維持しながら、原始的な点情報を保持する効率的な残差型ボクセルから点へのデコーダーを開発すること。
• 複雑な点群環境における大規模・長距離検出シナリオにおいて優れた性能を示すこと。

提案手法

• K近傍のボクセルからの特徴を統合するために、スキップ接続を備えたスタックされたブロックを用いた残差型ボクセルから点へのデコーダーを導入する。
• デコーダーは階層的・残差的かつ点特徴を学習し、前景と背景の感度を監視するためにセグメンテーションマスクが使用される。
• 3次元領域（RoI）の一致を適用して、マップビューおよび点特徴を候補ボックスに一致させ、正確な局所化を実現する。
• RoIに一致した特徴にコーナー幾何埋め込みを追加することで、3次元バウンディングボックスにおける欠落したコーナー情報を再構築する。
• 並列なIoU推定ブランチがRoIに一致した特徴からIoUスコアを回帰し、予測されたIoUを精錬されたボックスにリンクする新しい一致手法を導入することで、NMS順序付けを改善する。
• マップビューと点特徴学習の両方で共有されたボクセル符号化を用いることで、計算効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ボクセルから点へのデコーダーは、ボクセライゼーションの過程で失われた微細な点特徴を効果的に回復させ、3次元検出精度を向上させることができるか？
• RQ2 初期の候補ボックスではなく、精錬された候補ボックスに予測されたIoUスコアを一致させることで、NMSにおける局所化性能が向上するか？
• RQ3 コーナー幾何埋め込みは、点群における実際のコーナー点の欠落を補完できるか？
• RQ4 提案手法は、Waymo Open Datasetのような大規模・長距離3次元検出ベンチマークでどのように性能を発揮するか？
• RQ5 ボクセルから点へのデコーダーにおける残差学習と階層的特徴統合の貢献度は、全体の検出性能にどのように影響するか？

主な発見

• KITTIデータセットでは、自軌道クラスで81.49%のmAP（簡単）を達成し、歩行者クラスで51.80%を記録し、先行研究を上回った。
• Waymo Open DatasetのLEVEL_1では、3D APが77.24%、BEV APが88.93%を達成し、PV-RCNNと比較してそれぞれ+6.94および+1.82の向上を示した。
• LEVEL_2では、3D APが69.77%、BEV APが82.18%を達成し、PV-RCNNと比較してそれぞれ+4.41および+4.73の向上を示し、スパarsな長距離検出において強力な性能を示した。
• アブレーションスタディにより、ボクセルから点へのデコーダーとIoU一致のコンponentsが、特に長距離シナリオにおいて顕著な性能向上に寄与していることが確認された。
• 本手法は、すべての難易度レベルと指標で一貫した向上を示し、点ベース3次元検出における残差学習と特徴統合の有効性を裏付けた。
• 定性的な結果では、強化された特徴表現とIoU誘導型精錬のおかげで、遠方またはスパースな物体に対してよりタイトで正確なバウンディングボックスを生成することが確認された。