[論文レビュー] P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds

Haozhe Qi, Feng Chen+3 more|arXiv (Cornell University)|May 28, 2020

Video Surveillance and Tracking Methods参考文献 40被引用数 5

ひとこと要約

P2Bは、シードベースの特徴拡張とハフ投票を活用して、ターゲット中心の局所化と3次元プロポーザルおよび検証を統合的に実行する、ポイントクラウドにおける3次元オブジェクト追跡のエンドツーエンドのポイントツーボックスネットワークを提案する。KITTIでは最先端手法と比較して約10%高い成功度と正確度を達成し、1枚の1080Ti GPUで45.5 FPSで動作する。

ABSTRACT

Towards 3D object tracking in point clouds, a novel point-to-box network termed P2B is proposed in an end-to-end learning manner. Our main idea is to first localize potential target centers in 3D search area embedded with target information. Then point-driven 3D target proposal and verification are executed jointly. In this way, the time-consuming 3D exhaustive search can be avoided. Specifically, we first sample seeds from the point clouds in template and search area respectively. Then, we execute permutation-invariant feature augmentation to embed target clues from template into search area seeds and represent them with target-specific features. Consequently, the augmented search area seeds regress the potential target centers via Hough voting. The centers are further strengthened with seed-wise targetness scores. Finally, each center clusters its neighbors to leverage the ensemble power for joint 3D target proposal and verification. We apply PointNet++ as our backbone and experiments on KITTI tracking dataset demonstrate P2B's superiority (~10%'s improvement over state-of-the-art). Note that P2B can run with 40FPS on a single NVIDIA 1080Ti GPU. Our code and model are available at https://github.com/HaozheQi/P2B.

研究の動機と目的

• RGB-D入力に依存せず、幾何的情報のみを用いて疎で順序のないポイントクラウドにおける3次元オブジェクト追跡の課題に対処すること。
• 非エンドツーエンドのパイプラインや、包括的な3次元探索、または1次元のグローバル特徴に依存する既存手法の限界を克服すること。
• まず潜在的なターゲット中心を局所化し、その後にポイント駆動型のプロポーザルと検証を統合フレームワークで行うことで、効率的で正確な追跡を可能にすること。
• 予測された中心の周囲の近隣ポイントのアンサンブルクラスタリングを活用して、遮蔽やスパarsityに強い耐性を高めること。

提案手法

• テンプレート領域および検索領域のポイントクラウドからシードを抽出し、バックボーンネットワークの入力とする。
• 順序不変な特徴拡張を適用し、類似性とグローバル特徴符号化を用いてテンプレートからのターゲット固有の手がかりを検索領域のシードに埋め込む。
• ハフ投票を用いて、シードごとのターゲット度スコアで誘導された投票強度に基づいて、補強されたシードから潜在的なターゲット中心を回帰する。
• 各予測された中心の周囲の近隣ポイントをクラスタリングして、頑健な3次元プロポーザルを形成し、アンサンブル特徴を用いて統合検証を実行する。
• シードの順序に依存しない性質を維持しながら階層的特徴を抽出できるように、変更を加えたPointNet++バックボーンを活用する。
• 中心回帰とターゲット度予測の両方を最適化するため、ネットワーク全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 包括的な探索や微分不能なコンponentsに依存する既存の3次元追跡手法と比較して、ポイント単位のエンドツーエンド学習フレームワークは、性能を上回ることができるか？
• RQ2 類似性とグローバル特徴を用いたターゲット固有の特徴拡張は、スパースなポイントクラウドにおける局所化精度を向上させることができるか？
• RQ3 予測された中心の周囲でのクラスタリングによる3次元プロポーザルと検証の統合は、遮蔽やノイズに対して耐性を高めることができるか？
• RQ4 先行SOTAと比較して、優れた精度を維持しながらも高い速度を維持できるか？
• RQ5 RGB-D入力に依存せずポイントクラウドのみを用いる場合、テンプレートの品質が追跡性能に与える影響は何か？

主な発見

• P2BはKITTI追跡ベンチマークにおいて、以前のSOTA手法SC3Dと比較して、SuccessとPrecisionの両面で10%の相対的向上を達成した。
• 1枚のNVIDIA 1080Ti GPUで45.5 FPSで動作し、同じ条件下でSC3Dの1.8 FPSを大きく上回った。
• P2Bはスパースなポイントクラウド環境でも優れた性能を示し、SC3Dが失敗または発散する状況でもタイトな追跡を維持した。
• 初期テンプレートに情報量の少ないポイントが含まれる場合、モデルの性能が低下する傾向にあり、テンプレート品質に感受性があることが示された。
• 局所的類似性とグローバルテンプレート特徴の両方を用いた特徴拡張により、高い識別力が得られ、真のターゲットシードでは高いターゲット度スコアが得られた。
• 予測された中心の周囲の近隣ポイントをクラスタリングすることで、プロポーザルの品質が向上し、特に遮蔽状況下でも頑健な統合検証が可能になった。