[論文レビュー] Sparse2Dense: Learning to Densify 3D Features for 3D Object Detection

Tianyu Wang, Xiaowei Hu+2 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

Sparse2Denseは、潜在空間におけるスパースLiDARポイントクラウド特徴の密度化を学習することで、3次元オブジェクト検出を向上させる軽量で効率的なフレームワークを提案する。事前に訓練された密度の高い検出器からの知識蒸留を用い、プラグイン式のS2Dモジュールとポイントクラウド再構成モジュールを導入することで、推論時に密度の高い入力を必要とせずに特徴の質を向上させ、Waymoデータセット上で最先端の性能を達成しつつ、推論遅延が約10ms増加するにとどまる。

ABSTRACT

LiDAR-produced point clouds are the major source for most state-of-the-art 3D object detectors. Yet, small, distant, and incomplete objects with sparse or few points are often hard to detect. We present Sparse2Dense, a new framework to efficiently boost 3D detection performance by learning to densify point clouds in latent space. Specifically, we first train a dense point 3D detector (DDet) with a dense point cloud as input and design a sparse point 3D detector (SDet) with a regular point cloud as input. Importantly, we formulate the lightweight plug-in S2D module and the point cloud reconstruction module in SDet to densify 3D features and train SDet to produce 3D features, following the dense 3D features in DDet. So, in inference, SDet can simulate dense 3D features from regular (sparse) point cloud inputs without requiring dense inputs. We evaluate our method on the large-scale Waymo Open Dataset and the Waymo Domain Adaptation Dataset, showing its high performance and efficiency over the state of the arts.

研究の動機と目的

• LiDARベースの検出において、スパースなポイントクラウドによる小さな、遠く離れた、不完全な3次元オブジェクトの検出の課題に対処すること。
• 推論遅延を増加させずに、スパースな入力から密度の高い特徴表現を学習することで検出性能を向上させること。
• 推論時に密度の高いポイントクラウドデータを必要とせずに、事前に訓練されたモデルからの密度の高い特徴知識を活用すること。
• さまざまな3次元検出器と互換性があり、スパース領域での性能向上を図れる汎用的で、プラグアンドプレイ可能なフレームワークを設計すること。

提案手法

• 複数フレームの融合による密度の高いポイントクラウドを用いて、高品質な3次元特徴を生成する密度の高いポイント3次元検出器（DDet）を訓練する。
• 通常のスパースなポイントクラウドを入力とし、知識蒸留を用いてDDetの密度の高い特徴を模倣するスパースなポイント3次元検出器（SDet）を設計する。
• 特徴伝搬中に潜在空間でスパース特徴を密度化するための軽量なプラグイン型S2Dモジュールを導入する。
• 特徴学習の正則化と表現品質の向上を目的として、ポイントクラウド再構成（PCR）モジュールを補助タスクとして定式化する。
• 訓練中にSDetの特徴をDDetの特徴と一致させるために、特徴蒸留損失とヒートマップ蒸留損失を用いる。
• SDetの訓練を2段階で行う：最初に蒸留のみで訓練し、その後S2DおよびPCRモジュールを追加して訓練する。推論時にはDDetおよびPCRは破棄される。

実験結果

リサーチクエスチョン

• RQ1 密度の高い検出器からの知識蒸留が、スパースなポイントクラウドにおける3次元オブジェクト検出性能を向上させることができるか？
• RQ2 S2Dのような軽量でプラグイン型のモジュールが、推論コストを増加させずに潜在空間でスパース3次元特徴を効果的に密度化できるか？
• RQ3 補助的なポイントクラウド再構成タスクが、スパース領域における特徴品質と検出のロバスト性を向上させるか？
• RQ4 提案されたフレームワークは、アーキテクチャの変更なしに、さまざまな最先端の3次元検出器に普遍的に適用可能か？

主な発見

• 完全なSparse2Denseフレームワークは、蒸留なしでもベースライン比で車両カテゴリにおいて3次元オブジェクト検出性能を2.5%以上向上させる。
• S2Dモジュールを追加することで、車両では約2%、自転車乗りでは約1%の性能向上が達成され、蒸留のみのベースラインを上回る。
• ポイントクラウド再構成（PCR）モジュールは、すべての指標およびオブジェクトカテゴリにおいて一貫して性能を向上させる。
• S2Dモジュールは推論遅延を約10msしか追加せず、より大きなデータセットで16.9msの遅延を引き起こすSPGなどの先行手法を大きく上回る。
• このフレームワークはWaymo Open DatasetおよびWaymoドメイン適応データセットの両方で最先端の性能を達成する。
• この手法は汎用的であり、3種類の異なる3次元検出器において検出性能を向上させ、広範な互換性と有効性を示している。