[論文レビュー] AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud Dataset

Jiakang Yuan, Bo Zhang+5 more|arXiv (Cornell University)|Jun 1, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、少量のスニペットラベル付きで、多数のラベルなし点群データを用いた大規模かつ多様な点群データセット（ONCE）を活用して、統一的で一般化可能な表現を学習する、新しい自律走行用事前学習パラダイムAD-PTを提案する。多様性に基づくデータ拡張、未知を考慮したインスタンス学習、一貫性正則化を組み合わせることで、AD-PTは複数の3D検出ベンチマーク（Waymo、nuScenes、KITTI）およびバックボーン（PV-RCNN++、SECOND、CenterPoint、PointPillar、PointRCNN）において最先端の性能向上を達成し、強力な転送性とスケーラビリティを示している。

ABSTRACT

It is a long-term vision for Autonomous Driving (AD) community that the perception models can learn from a large-scale point cloud dataset, to obtain unified representations that can achieve promising results on different tasks or benchmarks. Previous works mainly focus on the self-supervised pre-training pipeline, meaning that they perform the pre-training and fine-tuning on the same benchmark, which is difficult to attain the performance scalability and cross-dataset application for the pre-training checkpoint. In this paper, for the first time, we are committed to building a large-scale pre-training point-cloud dataset with diverse data distribution, and meanwhile learning generalizable representations from such a diverse pre-training dataset. We formulate the point-cloud pre-training task as a semi-supervised problem, which leverages the few-shot labeled and massive unlabeled point-cloud data to generate the unified backbone representations that can be directly applied to many baseline models and benchmarks, decoupling the AD-related pre-training process and downstream fine-tuning task. During the period of backbone pre-training, by enhancing the scene- and instance-level distribution diversity and exploiting the backbone's ability to learn from unknown instances, we achieve significant performance gains on a series of downstream perception benchmarks including Waymo, nuScenes, and KITTI, under different baseline models like PV-RCNN++, SECOND, CenterPoint.

研究の動機と目的

• 自律走行認識におけるスケーラブルで一般化可能な事前学習の欠如に応えるために、単一データセットの自己教師付き事前学習を越えること。
• シーンレベルおよびインスタンスレベルの分布に多様性を持つ統一された大規模点群データセットを構築し、モデルの一般化性能を向上させること。
• バックボーン学習と下流のファインチューニングを分離する事前学習手法を開発し、複数のベンチマークおよびモデルへの転送を可能にすること。
• 事前学習データセットと下流データセットの間での分類体系的および意味的分布シフトによって引き起こされる性能低下を緩和すること。
• 未知のインスタンスを考慮したインスタンス学習と一貫性正則化を用いて、レアまたは未確認のカテゴリ（例：歩行者、自転車乗り）における特徴学習を強化すること。

提案手法

• ONCEを用いて、多様なセンサーや物体の分布を持つ約0.5％ラベル付きおよび多数のラベルなしLiDAR点群を統合した統一された事前学習データセットを構築する。
• 複数のモデルを用いたクラス別疑似ラベル付け戦略を適用し、MeanTeacherベースの半教師付き精錬を実施して疑似ラベルの正確性を向上させる。
• ポイントからビームへの再生リサンプリングおよびオブジェクトの再スケーリングを導入し、シーンおよび領域レベルのデータ分布を多様化させ、耐性を高める。
• 下流タスクにおいて重要な可能性があるが、事前学習で過小に表現される背景領域を活性化する未知を考慮したインスタンス学習（UIL）ヘッドを設計する。
• 異なる拡張ビューからの表現を一貫性させるための正則化損失を実装し、特徴の耐性および一般化性能を向上させる。
• 事前学習とファインチューニングを分離するため、統一データセット上で汎用バックボーンを事前学習させ、その後さまざまな下流モデルおよびベンチマークに直接転送可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様な点群データセットは、単一データセットの自己教師付き事前学習に比べ、自律走行認識における一般化性能を向上させることができるか？
• RQ2 事前学習と下流データセット間の意味的および分類体系的分布シフトに対して、事前学習表現をどのように耐性をもたせられるか？
• RQ3 未知を考慮したインスタンス学習は、歩行者や自転車乗りのようなレアまたは検出が難しいカテゴリの検出性能をどの程度向上させられるか？
• RQ4 異なる拡張ビュー間の一貫性正則化は、事前学習特徴の耐性および転送性を向上させるか？
• RQ5 提案されたAD-PTフレームワークは、多様な3D検出バックボーンおよび複数のベンチマークで一貫した性能向上を達成できるか？

主な発見

• 事前学習バックボーンを初期化した場合、Waymo（L2 AP/APH）で68.33 / 65.69 mAPを達成し、ベースラインを0.56 mAP上回った。
• nuScenesではmAPが43.11から44.99に、NDSが52.41から52.99に向上し、すべてのカテゴリで一貫した向上を示した。
• 未知を考慮したインスタンス学習（UIL）ヘッドと一貫性損失（CL）の追加により、Waymoで1.88ポイントmAP向上、nuScenesで0.81ポイントNDS向上を達成した。
• 歩行者および自転車乗りのカテゴリでの性能向上が顕著で、検出が困難なレアまたは背景に近いインスタンスの検出が向上した。
• バックボーンアーキテクチャにわたる一般化が確認された：KITTIおよびWaymoベンチマークで、PointPillar（20％データ）で3.45 mAP向上、PointRCNN（20％データ）で2.07 mAP向上を達成した。
• 事前学習データ量を約1万から約50万サンプルに拡大したことで、Waymo L2 APが1.27ポイント向上し、AD-PTパラダイムのスケーラビリティを裏付けた。