[論文レビュー] PV-RCNN: The Top-Performing LiDAR-only Solutions for 3D Detection / 3D Tracking / Domain Adaptation of Waymo Open Dataset Challenges

Shaoshuai Shi, Chaoxu Guo+2 more|arXiv (Cornell University)|Aug 28, 2020

Advanced Neural Network Applications参考文献 11被引用数 8

ひとこと要約

本論文は、ボクセルベースのスパース畳み込みとポイントベースのセットアブstractionを統合することで、優れた3D検出、トラッキング、ドメイン適応性能を実現するLiDARオンリーの3Dオブジェクト検出フレームワーク、PV-RCNNを提示する。時間情報を統合し、動的ボクセライゼーション、適応的サンプリング、モデルアンサンブル（非最大抑制とボックス投票を併用）を実装することで、最先端の結果を達成した—Waymo Open Dataset Challenge 2020の3つのトラックにおいて、LiDARオンリー手法で1位、全体で2位を獲得した。

ABSTRACT

In this technical report, we present the top-performing LiDAR-only solutions for 3D detection, 3D tracking and domain adaptation three tracks in Waymo Open Dataset Challenges 2020. Our solutions for the competition are built upon our recent proposed PV-RCNN 3D object detection framework. Several variants of our PV-RCNN are explored, including temporal information incorporation, dynamic voxelization, adaptive training sample selection, classification with RoI features, etc. A simple model ensemble strategy with non-maximum-suppression and box voting is adopted to generate the final results. By using only LiDAR point cloud data, our models finally achieve the 1st place among all LiDAR-only methods, and the 2nd place among all multi-modal methods, on the 3D Detection, 3D Tracking and Domain Adaptation three tracks of Waymo Open Dataset Challenges. Our solutions will be available at https://github.com/open-mmlab/OpenPCDet

研究の動機と目的

• Waymo Open DatasetにおけるLiDARオンリーの3Dオブジェクト検出、トラッキング、ドメイン適応の高性能ソリューションを開発すること。
• ボクセルベースとポイントベースのディープラーニングアプローチの長所を組み合わせることで、LiDARポイントクラウドのスパarsityと不規則性の課題に対処すること。
• 連続フレームからの時間的特徴統合を活用し、歩行者や自転車など小規模なオブジェクトの検出精度を向上させること。
• 適応的サンプリングとモデルアンサンブルを用いて、ターゲットドメインデータでのファインチューニングにより、ドメイン適応におけるロバスト性と一般化性能を向上させること。
• カメラやマルチモodalデータに依存せずに、LiDAR入力のみで複数のベンチマークでトップクラスのパフォーマンスを達成すること。

提案手法

• ボクセル特徴を多スケールで集約し、キーポイント特徴を生成するVoxel Set Abstraction (VSA) を最初の段階として用いる2段階の3D検出器であるPV-RCNNを提案。キーポイントの正確な空間的位置を保持する。
• セグメンテーションの監視情報を用いてキーポイント特徴を再重み付けする予測キーポイント重み付け (PKW) を導入。前景キーポイントを背景キーポイントよりも強調する。
• 3Dプロポーザル領域周辺のキーポイント特徴を集約するためのRoIグリッドプーリングを採用。受容 field を拡大し、プロポーザル境界を超えた特徴グループ化を可能にする。
• 時間的遅延埋め込みを用いて、前のフレームのポイントクラウドを統合することで、入力をより密度高くし、小規模でスパースなオブジェクトの検出を向上させる。
• 推論時のみに動的ボクセライゼーションを適用することで、量子化損失を低減しつつ、学習効率を維持する。
• クラス固有のアンカーハイパーパrameterを排除するための適応的サンプリング選択を採用。これにより、学習の安定性と一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 ボクセルベースとポイントベースの3D検出手法を効果的に統合することで、スパースなLiDARポイントクラウドにおける検出精度をどのように向上させられるか？
• RQ2 連続するLiDARフレームからの時間的情報を統合することで、特に小規模なオブジェクトの検出性能はどの程度向上するか？
• RQ3 学習パイプラインを変更せずに推論時のみに動的ボクセライゼーションを適用することで、検出mAPは向上するか？
• RQ4 非最大抑制とボックス投票を併用したモデルアンサンブルは、複数の3D検出、トラッキング、ドメイン適応タスクにおけるパフォーマンス向上にどの程度効果的か？
• RQ5 マルチモーダルデータに依存せずに、LiDARオンリーのモデルがドメイン適応において最先端のパフォーマンスを達成できるか？

主な発見

• 最終的なモデルアンサンブルは、Waymo Open Datasetのテストセットで、車両に対して81.06/80.57 mAP (L1/L2)、歩行者に対して73.69/73.23、自転車に対して75.10/73.84を達成し、LiDARオンリー手法で1位、全体で2位を獲得した。
• 前のフレームを統合することで、自転車のmAPが最大2.6%、歩行者のmAPが1.5%向上し、時間的情報の有効性が示された。
• 推論時における動的ボクセライゼーションにより、全クラスでmAPが0.5～1.0ポイント向上し、量子化損失の低減が確認された。
• 適応的サンプリングとRoI特徴を用いた分類により、mAPが1.5～2.5ポイント向上し、特に検出が難しいクラス（自転車など）で顕著な改善が得られた。
• ソフト-NMSとボックス投票を併用したモデルアンサンブルにより、平均でmAPが2ポイント以上向上し、特に自転車と歩行者カテゴリで最大の向上が得られた。
• ドメイン適応において、80のターゲットドメインシーケンスでファインチューニングした結果、車両で71.40/70.70 mAP (L1/L2)、歩行者で58.40/55.36を達成し、新しいドメインへの強い一般化性能を示した。