[論文レビュー] SE-SSD: Self-Ensembling Single-Stage Object Detector From Point Cloud

Zheng Wu, Weiliang Tang+2 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Neural Network Applications参考文献 36被引用数 19

ひとこと要約

SE-SSD は、一貫性損失と形状に配慮したデータ拡張を用いた教師-生徒 distillation フレームワークを活用する、ポイントクラウド向け自己アンサンブル型の単一段階 3D 物体検出器を提案する。教師ネットワークからのソフトターゲットと幾何学的に配慮した入力の拡張を用いることで、KITTI においてより高いロバスト性と正確性を達成し、ベースライン SSD よりも 1.7% の mAP 向上を達成し、最先端の性能を実現した。

ABSTRACT

We present Self-Ensembling Single-Stage object Detector (SE-SSD) for accurate and efficient 3D object detection in outdoor point clouds. Our key focus is on exploiting both soft and hard targets with our formulated constraints to jointly optimize the model, without introducing extra computation in the inference. Specifically, SE-SSD contains a pair of teacher and student SSDs, in which we design an effective IoU-based matching strategy to filter soft targets from the teacher and formulate a consistency loss to align student predictions with them. Also, to maximize the distilled knowledge for ensembling the teacher, we design a new augmentation scheme to produce shape-aware augmented samples to train the student, aiming to encourage it to infer complete object shapes. Lastly, to better exploit hard targets, we design an ODIoU loss to supervise the student with constraints on the predicted box centers and orientations. Our SE-SSD attains top performance compared with all prior published works. Also, it attains top precisions for car detection in the KITTI benchmark (ranked 1st and 2nd on the BEV and 3D leaderboards, respectively) with an ultra-high inference speed. The code is available at https://github.com/Vegeta2020/SE-SSD.

研究の動機と目的

• 追加のアノテーションを必要とせず、スパースな屋外ポイントクラウドにおける 3D 物体検出を自己アンサンブルにより向上させること。
• 遮蔽、距離、オブジェクト形状の多様性によって引き起こされるドメインシフトや特徴のばらつきを、形状に配慮したデータ拡張により解決すること。
• 一貫性損失を用いて教師ネットワークからのソフトターゲットと予測を一致させることで、生徒ネットワークの一般化性能を向上させること。
• IoU に基づくマッチングとソフトターゲット上の Smooth-L1 損失を用いることで、勾配のばらつきを低減し、最適化の安定性を向上させること。
• ポイントクラウド入力のみを用いて、単一段階検出器として KITTI で最先端の性能を達成すること。

提案手法

• フレームワークは、同一のバックボーンを有する生徒-教師 SSD アーキテクチャを採用する：3D 特徴抽出のための SPConvNet、鳥眼視点特徴学習のための BEVConvNet、バウンディングボックスと分類予測のためのマルチタスクヘッド。
• 教師ネットワークは、信頼度と IoU フィルタリング（しきい値 τc と τI）を用いて、生のポイントクラウドからソフトターゲットを生成することでターゲット品質を向上させる。
• IoU に基づくマッチングを用いて、生徒と教師の予測間の一貫性損失を適用し、ボックスオフセット（x,y,z,w,l,h）、方向（r）、分類スコアの Smooth-L1 損失を最小化する。
• 形状に配慮したデータ拡張は、各オブジェクトを六つのピラミッド型ポイントサブセットに分割し、遮蔽、オブジェクト多様性、距離依存のスパarsity を模倣するため、ランダムドロップアウト、スワップ、スパース化を適用する。
• 拡張の前に、グローバル変換（平行移動、反転、スケーリング）を適用することで、さらにデータ分布を拡張する。
• 生徒は、複数の損失関数を用いて訓練される：ボックス回帰のための ODIoU、分類のための Focal loss、方向のための方向損失、およびソフトターゲットとの一貫性損失。

実験結果

リサーチクエスチョン

• RQ1 教師ネットワークからのソフトラベルを用いた自己アンサンブルは、スパースなポイントクラウドにおける単一段階 3D 物体検出の一般化性能を向上させることができるか？
• RQ2 遮蔽、オブジェクト類似性、距離変動を模倣する形状に配慮したデータ拡張は、検出器のロバスト性と正確性にどのように影響するか？
• RQ3 IoU マッチドソフトターゲットに基づく一貫性損失は、ハードターゲットのみに比べて勾配のばらつきを低減し、訓練の安定性を向上させるか？
• RQ4 追加のアノテーションなしに、知識蒸留とデータ拡張を活用することで、生徒ネットワークが標準の SSD を上回ることができるか？
• RQ5 方向に配慮した損失（ODIoU）は、BEV における軸に沿わない 3D バウンディングボックスの予測にどのような影響を及ぼすか？

主な発見

• SE-SSD は KITTI 3D 検出ベンチマークにおいて、ベースライン SSD よりも 1.7% の絶対的な mAP 向上を達成し、72.1% の mAP を達成した。
• ソフトターゲットとの一貫性損失は勾配のばらつきを低減し、収束を改善する。訓練曲線の安定性と生徒・教師の予測の整合性の向上によって裏付けられた。
• 形状に配慮したデータ拡張は、部分的遮蔽やポイントのスパarsity などの現実世界のばらつきを模倣することで、特に困難な条件下でも顕著に性能向上をもたらした。
• ODIoU 損失の (1−|cos(Δr)|) 項は、方向の微調整を効果的にガイドし、方向誤差を低減し、収束を加速した。
• 教師ネットワークの更新に指数的移動平均（EMA）を用いることで、安定したソフトターゲット生成が可能になり、訓練全体にわたる効果的な蒸留が実現した。
• アブレーションスタディにより、一貫性損失と形状に配慮した拡張の両方が不可欠であることが確認され、それぞれが最終的な mAP 向上に顕著な寄与をした。