[論文レビュー] Multi-Frame to Single-Frame: Knowledge Distillation for 3D Object Detection

Yue Wang, Alireza Fathi+3 more|arXiv (Cornell University)|Sep 24, 2020

3D Shape Modeling and Analysis参考文献 14被引用数 9

ひとこと要約

本論文は、教師モデルが密度の高い複数フレーム点群（真値のトラッキングを用いて）で学習された3次元物体検出器から、1フレームの入力に特化した検出器へ知識を転送する2段階の知識蒸留フレームワークを提案する。この手法により、推論時のオーバーヘッドを追加せずに、スパarsなテスト時入力でも性能が向上する。本手法はWaymo Open Datasetにおいて最先端の性能を達成し、1フレームベースラインを上回って、歩行者では最大+5.39% mAP、車両では0–30m範囲で+3.72% mAPの向上を達成した。

ABSTRACT

A common dilemma in 3D object detection for autonomous driving is that high-quality, dense point clouds are only available during training, but not testing. We use knowledge distillation to bridge the gap between a model trained on high-quality inputs at training time and another tested on low-quality inputs at inference time. In particular, we design a two-stage training pipeline for point cloud object detection. First, we train an object detection model on dense point clouds, which are generated from multiple frames using extra information only available at training time. Then, we train the model's identical counterpart on sparse single-frame point clouds with consistency regularization on features from both models. We show that this procedure improves performance on low-quality data during testing, without additional overhead.

研究の動機と目的

• 自動運転の3次元物体検出において、訓練時における密度の高い複数フレーム点群と、テスト時におけるスパarsな1フレーム入力との間の乖離を是正すること。
• 訓練時のみ利用可能な追加情報（真値の物体トラッキングなど）を活用して、1フレーム検出器の性能を向上させること。
• 推論コストを追加せずに、複数フレームモデルから1フレームモデルへ知識を転送する蒸留ベースの手法を開発すること。
• 実用的な1フレーム推論を維持しつつ、現実的でない複数フレームモデルと実用的な1フレーム推論の間の性能格差を埋めること。

提案手法

• 2段階のトレーニングパイプラインを用いる：まず、真値のバウンディングボックストラッキングを用いて複数フレームを統合して得られる密度の高い点群で検出器を学習する。
• 次に、スパarsな1フレーム点群で学習する蒸留モデルを、1段階目のモデルの特徴を用いた一貫性正則化とともに学習する。
• 学生モデル（1フレーム）と教師モデル（複数フレーム）の間で、中間表現を一致させるために特徴レベルの一貫性損失を適用する。
• 学生モデルは検出損失と特徴一貫性損失の重み付き組み合わせで学習され、車両ではλ = 0.1、歩行者ではλ = 0.01のハイパーパramータを用いる。
• 最終的なモデルは、テスト時に1フレーム入力のみを用いてデプロイされ、追加の推論コストを一切追加しない。
• 本手法はPointNetベースのバックボーンを用い、ビューアー・エイド（BEV）特徴抽出と、分類・回帰のための2次元畳み込みヘッドを備えている。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、3次元物体検出において、密度の高い複数フレーム点群から得られる性能向上を、1フレーム検出器へ効果的に転送できるか？
• RQ2 訓練時に利用可能な特権情報（トラッキング情報）を用いることで、スパarsなテスト時入力への一般化性能がどのように向上するか？
• RQ3 推論時に複数フレームデータにアクセスできない1フレーム検出器が、複数フレーム検出器の性能にどの程度まで近づけるか？
• RQ4 教師モデルと学生モデルの間で特徴の一貫性正則化を適用することで、スパarsな入力に対する検出精度が向上するか？

主な発見

• 蒸留された1フレームモデルは、車両で84.79% BEV mAP（IoU=0.7）を達成し、ベースラインの1フレームモデルを+1.63%上回った。
• 歩行者では、76.30% BEV mAP（IoU=0.5）を達成し、ベースラインより+1.82%の向上を示した。
• 0–30mの距離範囲では、車両で+3.72% mAP（BEV）、歩行者で+3.41% mAPの向上を達成した。
• 0–30m範囲の歩行者では、3D mAPが+5.39%向上し、近距離検出において優れた性能を示した。
• リアルタイム推論速度24 FPSを維持しており、PointPillarsと同等の速度であり、テスト時の追加オーバーヘッドが一切ない。
• 蒸留モデルの性能は、密度の高い5フレーム点群で学習されたオラクルモデル（車両で86.31% BEV mAP）に著しく近づいており、効果的な知識転送が実現していることが示された。