[論文レビュー] Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation

Yuenan Hou, Xinge Zhu+3 more|arXiv (Cornell University)|Jun 5, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、点レベルおよびボクセルレベルの出力と類似性を、スーパーボクセル分割と難易度に配慮したサンプリングを通じて転送する、LiDAR画像セマンティックセグメンテーションのための新規な知識蒸留フレームワーク、Point-to-Voxel Knowledge Distillation (PVD) を提案する。PVD は、Cylinder3D において約 75% の MACs 減少と 2 倍の推論速度向上を達成し、精度の低下を最小限に抑え、nuScenes および SemanticKITTI ベンチマークで先行手法を上回る性能を発揮する。

ABSTRACT

This article addresses the problem of distilling knowledge from a large teacher model to a slim student network for LiDAR semantic segmentation. Directly employing previous distillation approaches yields inferior results due to the intrinsic challenges of point cloud, i.e., sparsity, randomness and varying density. To tackle the aforementioned problems, we propose the Point-to-Voxel Knowledge Distillation (PVD), which transfers the hidden knowledge from both point level and voxel level. Specifically, we first leverage both the pointwise and voxelwise output distillation to complement the sparse supervision signals. Then, to better exploit the structural information, we divide the whole point cloud into several supervoxels and design a difficulty-aware sampling strategy to more frequently sample supervoxels containing less-frequent classes and faraway objects. On these supervoxels, we propose inter-point and inter-voxel affinity distillation, where the similarity information between points and voxels can help the student model better capture the structural information of the surrounding environment. We conduct extensive experiments on two popular LiDAR segmentation benchmarks, i.e., nuScenes and SemanticKITTI. On both benchmarks, our PVD consistently outperforms previous distillation approaches by a large margin on three representative backbones, i.e., Cylinder3D, SPVNAS and MinkowskiNet. Notably, on the challenging nuScenes and SemanticKITTI datasets, our method can achieve roughly 75% MACs reduction and 2x speedup on the competitive Cylinder3D model and rank 1st on the SemanticKITTI leaderboard among all published algorithms. Our code is available at https://github.com/cardwing/Codes-for-PVKD.

研究の動機と目的

• 点群の疎らさ、ランダム性、密度のばらつきによって効果的な知識転送が阻害される、LiDAR 画像セマンティックセグメンテーションにおける知識蒸留の課題に対処すること。
• 出力予測と特徴類似性の両方の点レベルおよびボクセルレベルの知識を活用することで、蒸留性能を向上させること。
• スーパーボクセル分割と難易度に配慮したサンプリングを通じて、レアクラスや遠方の物体といった難易度の高いケースにおける学習の効率性と有効性を高めること。
• 顕著なモデル圧縮を達成し、精度の低下を最小限に抑え、リソース制約のある自動運転システムへの強力なモデルのデプロイを可能にすること。

提案手法

• 疎な監督信号を補完するために、細粒度の点レベルと粗いが情報量の多いボクセルレベルの予測を組み合わせた、ポイントワイドおよびボクセルワイドの出力蒸留を提案する。
• 点およびボクセル特徴間の意味的類似性を測定することで、関係性の知識を転送する、ポイント間およびボクセル間の類似性蒸留を導入する。
• 点群を固定サイズのスーパーボクセルに分割することで、類似性蒸留の計算を扱いやすくし、ペairワイズ比較の数を制限する。
• マイノリティクラスや遠方の物体を含むスーパーボクセルを優先的に選択する、難易度に配慮したサンプリング戦略を設計する。
• 出力蒸留と類似性蒸留を組み合わせたマルチステージの蒸留損失を用い、知識転送のバランスをとるために適応的重み付けを行う。
• nuScenes および SemanticKITTI ベンチマーク上で、3 つの最先端バックボーン（Cylinder3D、SPVNAS、MinkowskiNet）に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 点群の疎らさ、ランダム性、密度のばらつきという課題にもかかわらず、LiDAR 画像セマンティックセグメンテーションに知識蒸留を効果的に適用できるか？
• RQ2 点レベルとボクセルレベルの両方の知識転送を組み合わせることで、単一レベルの蒸留と比較して蒸留性能が向上するか？
• RQ3 特徴類似性に基づく類似性蒸留は、点群セグメンテーションにおける構造的理解を向上させることができるか？
• RQ4 スーパーボクセル分割により、大規模な点群における類似性蒸留が実行可能かつ効率的になるか？
• RQ5 難易度に配慮したサンプリングは、均一またはランダムなサンプリングと比較して、マイノリティクラスや遠方の物体における蒸留を改善するか？

主な発見

• PVD は、SemanticKITTI のバリデーションセットで 66.4% の mIoU を達成し、ベースラインの蒸留手法を著しく上回り、2021 年 11 月現在、シングルスキャンリーダーボードで 1 位を記録した。
• nuScenes データセットでは、Cylinder3D モデルにおいて約 75% の MACs 減少と 2 倍の速度向上を達成し、性能の低下はわずかであった。
• 本手法は、nuScenes および SemanticKITTI ベンチマークの 3 つのバックボーン（Cylinder3D、SPVNAS、MinkowskiNet）において、常に先行する蒸留アプローチを上回る性能を発揮した。
• アブレーションスタディの結果、類似性蒸留が出力蒸留よりも性能向上に寄与していることが確認され、スーパーボクセルサイズが (120, 60, 8) のときが最適な結果をもたらした。
• 難易度に配慮したサンプリングは、距離に配慮した、カテゴリに配慮した、およびランダムなサンプリングと比較して優れた性能を示し、難易度の高いケースを優先的に学習する有効性を裏付けた。
• 可視化比較では、PVD はベースライン手法と比較して、マイノリティクラス（例：人）や遠方の物体（例：自転車、遠くの車）における誤分類を顕著に低減していることが示された。