[論文レビュー] ProposalContrast: Unsupervised Pre-training for LiDAR-based 3D Object Detection

Junbo Yin, Dingfu Zhou+5 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

ProposalContrastは、シーンや個々の点・ボクセルではなく、領域提案を対象として対照的に学習することで、ロバストな3次元表現を学ぶ、LiDARベースの3次元オブジェクト検出のための新規な教師なし事前学習フレームワークを提案する。クロスアテンションエンコーダーを用いて提案内の幾何的関係をモデル化し、提案間の識別とクラスタ間分離を同時に最適化することで、KITTI、Waymo、ONCEなどの複数の3次元検出器およびデータセットで最先端の性能向上を達成した。

ABSTRACT

Existing approaches for unsupervised point cloud pre-training are constrained to either scene-level or point/voxel-level instance discrimination. Scene-level methods tend to lose local details that are crucial for recognizing the road objects, while point/voxel-level methods inherently suffer from limited receptive field that is incapable of perceiving large objects or context environments. Considering region-level representations are more suitable for 3D object detection, we devise a new unsupervised point cloud pre-training framework, called ProposalContrast, that learns robust 3D representations by contrasting region proposals. Specifically, with an exhaustive set of region proposals sampled from each point cloud, geometric point relations within each proposal are modeled for creating expressive proposal representations. To better accommodate 3D detection properties, ProposalContrast optimizes with both inter-cluster and inter-proposal separation, i.e., sharpening the discriminativeness of proposal representations across semantic classes and object instances. The generalizability and transferability of ProposalContrast are verified on various 3D detectors (i.e., PV-RCNN, CenterPoint, PointPillars and PointRCNN) and datasets (i.e., KITTI, Waymo and ONCE).

研究の動機と目的

• 既存の教師なし事前学習手法が有する限界、すなわち局所的オブジェクトの詳細を失う（シーンレベル）、または細粒度の点に過剰に注目する（点・ボクセルレベル）という問題に対処すること。
• 3次元検出のインスタンスおよびオブジェクト中心の性質に適合するように、領域提案を表現学習の単位として活用する新しい事前学習パラダイムを提案すること。
• 多様な3次元検出器および大規模なLiDARデータセット across で自己教師付き表現の汎用性と転送可能性を向上させること。
• 二重の事前学習タスクを通じて、インスタンス固有の特徴とクラス不変特徴を同時に捉える方法を設計すること。

提案手法

• 球面サンプリングを用いて各LiDAR点群から領域提案を抽出し、データ拡張を施した提案レベルの対照的学習フレームワークを提案する。
• 各提案内の点間の幾何的関係をモデル化するため、クロスアテンションに基づく提案エンコーダーを採用し、局所的構造表現を強化する。
• 二つの共同事前学習タスクを導入する：インスタンス固有特徴を学ぶために提案間識別（IPD）と、スィンクホルン＝ノップクラスタリングによる疑似ラベルを用いたクラス不変特徴を学ぶためにクラスタ間分離（ICS）を実装する。
• IPDとICSの目的関数を統合した二重ブランチ対照的損失を用い、識別性と汎用性の両方を最適化する。
• 回転と点群マスキングによるデータ拡張を実施し、対照的学習用のポジティブビューを生成する。
• ラベル付きデータのわずかな割合のみを用いて、下流の3次元検出タスクで事前学習されたバックボーンを微調整する。

実験結果

リサーチクエスチョン

• RQ1 提案レベルの表現学習は、3次元オブジェクト検出において、シーンレベルおよび点／ボクセルレベルの事前学習を上回ることができるか？
• RQ2 提案内での幾何的関係のモデル化が、3次元検出の特徴品質にどのように寄与するか？
• RQ3 提案間識別とクラスタ間分離を同時に最適化することで、表現品質にどのような影響を与えるか？
• RQ4 本手法は、さまざまな3次元検出器およびデータセットに対してどれほど頑健か？
• RQ5 提案数、半径、クラスタリング戦略などのアブレーション設定の中で、最適な性能を達成するのはどれか？

主な発見

• CenterPointで微調整した場合、Waymo 20%トレーニングスプリットで62.75/60.13 mAP/mAPHを達成し、ランダム初期化ベースラインの59.63/56.96を顕著に上回った。
• アテンションベースの提案エンコーダーは、MaxPoolingベースラインに比べてmAPHを0.81ポイント向上させ、内部幾何的構造のモデル化の重要性を示した。
• IPDとICSの共同最適化が最良の性能をもたらし、スィンクホルン＝ノップクラスタリングを除去するとmAPHが2.44ポイント低下した。これは、その戦略が極めて重要な役割を果たしていることを示している。
• ICSで128クラスタを使用した場合、256クラスタよりも優れた性能を示し、最適な提案半径は1.0m、1提案あたり2048点が最適であった。
• 本手法は複数の検出器（PV-RCNN、CenterPoint、PointPillars、PointRCNN）に一般化可能であり、KITTI、Waymo、ONCEのデータセットで強い転送性を示した。
• アブレーションでは、IPDのみでmAPHが2.60ポイント向上、ICSのみで1.74ポイント向上し、両者の組み合わせが最大の向上をもたらした。