[論文レビュー] IPOD: Intensive Point-based Object Detector for Point Cloud

Zetong Yang, Yanan Sun+3 more|arXiv (Cornell University)|Dec 13, 2018

Remote Sensing and LiDAR Applications参考文献 33被引用数 132

ひとこと要約

IPODは生の点群の各点からオブジェクト提案を生成し、点ベースのバックボーンを用いて文脈を備えた提案特徴を抽出し、エンドツーエンドで3D境界ボックスを予測します。KITTIで特に難しいケースにおいて最先端の成績を達成します。

ABSTRACT

We present a novel 3D object detection framework, named IPOD, based on raw point cloud. It seeds object proposal for each point, which is the basic element. This paradigm provides us with high recall and high fidelity of information, leading to a suitable way to process point cloud data. We design an end-to-end trainable architecture, where features of all points within a proposal are extracted from the backbone network and achieve a proposal feature for final bounding inference. These features with both context information and precise point cloud coordinates yield improved performance. We conduct experiments on KITTI dataset, evaluating our performance in terms of 3D object detection, Bird's Eye View (BEV) detection and 2D object detection. Our method accomplishes new state-of-the-art , showing great advantage on the hard set.

研究の動機と目的

• ボクセル化や射影を用いず、生の点群上で直接3D物体検出を動機づける。
• 局所化の忠実度と高いリコールを維持するためのポイントごとの提案生成戦略を開発する。
• 文脈と正確な点座標の両方を用いて提案特徴を抽出するエンドツーエンドアーキテクチャを設計する。
• 新規のラベリングとアライメント手法によって点ベースの提案の冗長性と曖昧さに対処する。
• 遮蔽や混雑がある状況下で特にCar、Pedestrian、CyclistタスクでKITTIにおける最先端の性能を示す。

提案手法

• 各点の中心でマルチスケール・マルチアングルシフトを用いてオブジェクト提案を生成する。
• サブサンプリングネットワークを用いて背景点をフィルタリングし、リコールを高く維持する（KITTIで96.0%）.
• 生の点群から点ごとの特徴を抽出するためにPointNet++バックボーンを採用する。
• 高レベルの文脈特徴と正準化された点座標およびT-Net中心化残差を組み合わせて提案特徴を生成する。
• 各提案に対してクラス、サイズ比、中心残差、姿勢を予測するマルチタスク損失（L_cls, L_loc, L_ang, L_cor, L_corner）を用いる。
• 提案を整列し、平滑? positive/negative labelsをPointsIoUを用いて割り当てる。plain box IoU ではなく、点レベルの重なりをより正確に反映させる。

実験結果

リサーチクエスチョン

• RQ1 生の点群上での1点ごとの提案生成パラダイムは、ボクセル化や射影なしで、より高いリコールと3D検出、BEV、および2D指標を達成できるか？
• RQ2 提案表現に文脈特徴と正準化された点座標を組み込むと、局所化と分類が改善されるか？
• RQ3 PointsIoUを用いたラベリングは、従来のIoUベースのラベリングと比較して訓練の安定性と最終検出性能にどのような影響を与えるか？
• RQ4 サブサンプリング、提案特徴設計、バックボーンの選択がKITTIのCar、Pedestrian、Cyclist検出性能に与える影響はどの程度か？

主な発見

手法	AP2D_Easy	AP2D_Moderate	AP2D_Hard	APBEV_Easy	APBEV_Moderate	APBEV_Hard	AP3D_Easy	AP3D_Moderate	AP3D_Hard
Ours	90.20	89.30	87.37	86.93	83.98	77.85	79.75	72.57	66.33

• 従来法と比較して2D、BEV、3D APのHardサブセットで特に顕著な改善を含む、KITTIで最先端の結果を達成。
• F-PointNetおよびマルチビュー手法を上回り、特に歩行者や混み合うシーンで優れる。
• 射影ベースの前処理なしで高いリコール（96.0%）を実証。
• アブレーションではPointsIoUラベリングと高レベル文脈特徴と正準化座標の組み合わせがAPを大幅に改善することを示す（Table 3とTable 5）。
• KITTI valセット（Car, Pedestrian, Cyclist）におけるEasy/Moderate/Hardレベルで、3DおよびBEV検出においてVoxelNetおよびAVODのベースラインを上回る。