[論文レビュー] Pseudo-labeling for Scalable 3D Object Detection

Benjamin Caine, Rebecca Roelofs+5 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Neural Network Applications参考文献 55被引用数 5

ひとこと要約

本論文は、アーキテクチャの変更なしに、大規模なラベルなしLiDARデータを活用して3Dオブジェクト検出の性能を顕著に向上させるための仮ラベル化アプローチを提案する。限られたラベル付きデータで訓練された強力な教師モデルが予測を生成し、その予測結果（仮ラベル）を学生モデルに distillation することで、Waymo Open Dataset において車両で74.0 L1 AP、歩行者で69.8 L1 APの最先端の結果を達成した。これは、3～10倍のラベル付きデータで訓練された教師モデルを上回り、Kirklandのような新しいドメインに対しても効果的に一般化した。

ABSTRACT

To safely deploy autonomous vehicles, onboard perception systems must work reliably at high accuracy across a diverse set of environments and geographies. One of the most common techniques to improve the efficacy of such systems in new domains involves collecting large labeled datasets, but such datasets can be extremely costly to obtain, especially if each new deployment geography requires additional data with expensive 3D bounding box annotations. We demonstrate that pseudo-labeling for 3D object detection is an effective way to exploit less expensive and more widely available unlabeled data, and can lead to performance gains across various architectures, data augmentation strategies, and sizes of the labeled dataset. Overall, we show that better teacher models lead to better student models, and that we can distill expensive teachers into efficient, simple students. Specifically, we demonstrate that pseudo-label-trained student models can outperform supervised models trained on 3-10 times the amount of labeled examples. Using PointPillars [24], a two-year-old architecture, as our student model, we are able to achieve state of the art accuracy simply by leveraging large quantities of pseudo-labeled data. Lastly, we show that these student models generalize better than supervised models to a new domain in which we only have unlabeled data, making pseudo-label training an effective form of unsupervised domain adaptation.

研究の動機と目的

• 自動運転車の周辺環境認識における3Dバウンディングボックスのアノテーションを、新規の地理的領域で収集する際の高コストとスケーラビリティの障壁を解消すること。
• 仮ラベル化による半教師あり学習が、最小限のアーキテクチャ変更で3Dオブジェクト検出の性能を向上させられるかを調査すること。
• 特にラベル付きデータが限られる、あるいはドメイン外の状況（例：Kirkland）において、仮ラベル化のドメイン一般化効果を評価すること。
• 仮ラベル化の最適なトレーニング手法を特定すること。具体的には、教師モデルの品質やデータ拡張戦略を含む。
• 高性能な教師モデルから効率的な学生モデルに知識を蒸留することで、新たなアーキテクチャ設計なしに最先端の性能を達成できることを示すこと。

提案手法

• 2段階のトレーニングパイプライン：まず、人間がアノテートした3Dオブジェクト検出データの少量で教師モデルを訓練する。
• 訓練済みの教師モデルが、大規模なラベルなしLiDARDデータに対して仮ラベルを生成し、点群内の点に予測されたバウンディングボックスを割り当てる。
• 学生モデル（特に2年前のアーキテクチャであるPointPillars）を、元のラベル付きデータと仮ラベル付きデータの結合データ上で訓練する。
• 学生モデルは標準の検出損失関数を用いて訓練され、アーキテクチャの変更やハイパーパrameterチューニングは仮ラベルの追加以外には一切行わない。
• データ拡張を適用して、特に学生モデルのトレーニング段階での頑健性と一般化性能を向上させる。
• 複数のドメイン（インドメイン：サンフランシスコ、マウンテンビュー、フェニックス、アウトオブドメイン：キリングド）で評価し、ドメイン適応性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 少量のラベル付きデータしかない状況で、仮ラベル化が3Dオブジェクト検出の性能を顕著に向上させられるか？
• RQ2 ラベル付きデータが全くない新しい地理的ドメインにおいて、仮ラベル化がモデルの一般化性能を向上させるか？
• RQ3 教師モデルの品質が、仮ラベル化パイプラインにおける学生モデルの性能にどのように影響するか？
• RQ4 仮ラベル化による性能向上を最大化するための最適なトレーニング設定（データ拡張、トレーニングスケジュールなど）は何か？
• RQ5 教師モデルに比べて性能が劣るが、シンプルで軽量な学生モデル（例：PointPillars）が仮ラベル付きデータでトレーニングされた場合、最先端の性能を達成できるか？

主な発見

• 仮ラベル付きデータで訓練された学生モデルは、Waymo Open Dataset のテストセットで、車両で74.0 L1 AP、歩行者で69.8 L1 APを達成し、教師モデルベースラインを+5.4および+1.9 AP上回った。
• 同じ学生モデルは、SF/MTV/PHXドメインで3～10倍のラベル付きデータで訓練された教師モデルを上回り、車両で+9.8、歩行者で+11.2 APの向上を達成した。
• キリングドドメイン適応チャレンジでは、仮ラベル付き学生モデルが車両で56.2 L1 AP、歩行者で36.1 L1 APを達成し、教師モデルベースラインを+7.9および+4.5 AP上回った。
• 異なるデータ拡張戦略やモデルアーキテクチャに対しても性能向上が安定して得られ、本手法の汎用性を示した。
• 教師モデルのアーキテクチャや推論品質を向上させると、学生モデルの性能も向上し、教師モデルの品質が蒸留成功の鍵要因であることを確認した。
• ソフトラベルや複数回の繰り返しトレーニングなしに、ハードラベルを用いた単純な非反復的仮ラベル化が、他のSSLタスクとは対照的に最良の結果をもたらした。