[論文レビュー] SESS: Self-Ensembling Semi-Supervised 3D Object Detection

Na Zhao, Tat‐Seng Chua+1 more|arXiv (Cornell University)|Dec 26, 2019

3D Shape Modeling and Analysis参考文献 29被引用数 12

ひとこと要約

SESSは、自己アンサンブル半教師付き3次元オブジェクト検出フレームワークを提案し、ラベルなし点群を活用することで、ラベル付きデータを50%に制限しても検出性能を向上させる。包括的な摂動スキームと3つの一貫性損失（中心、クラス、サイズ）を適用することで、教師ネットワークと生徒ネットワークの予測を整合させる。SUN RGB-DおよびScanNetで完全教師ありSOTA手法と同等の性能を達成した。

ABSTRACT

The performance of existing point cloud-based 3D object detection methods heavily relies on large-scale high-quality 3D annotations. However, such annotations are often tedious and expensive to collect. Semi-supervised learning is a good alternative to mitigate the data annotation issue, but has remained largely unexplored in 3D object detection. Inspired by the recent success of self-ensembling technique in semi-supervised image classification task, we propose SESS, a self-ensembling semi-supervised 3D object detection framework. Specifically, we design a thorough perturbation scheme to enhance generalization of the network on unlabeled and new unseen data. Furthermore, we propose three consistency losses to enforce the consistency between two sets of predicted 3D object proposals, to facilitate the learning of structure and semantic invariances of objects. Extensive experiments conducted on SUN RGB-D and ScanNet datasets demonstrate the effectiveness of SESS in both inductive and transductive semi-supervised 3D object detection. Our SESS achieves competitive performance compared to the state-of-the-art fully-supervised method by using only 50% labeled data. Our code is available at https://github.com/Na-Z/sess.

研究の動機と目的

• 点群ベースの3次元オブジェクト検出における大規模な3次元アノテーションの高コストと不足問題に対処する。
• ラベル付きデータの小さなサブセットしか利用できない半教師付き学習を3次元オブジェクト検出に適用する。
• 未ラベルデータからの知識伝達を効果的に実現し、検出精度を向上させるフレームワークを開発する。
• 点群データに特化した摂動スキームを設計し、モデルの汎化性能を向上させる。
• 教師と生徒の予測間で構造的および意味的不変性を強制する3つの一貫性損失を導入する。

提案手法

• 教師-生徒3次元オブジェクト検出ネットワークを採用し、Mean Teacherパラダイムを適用する。
• 回転、スケーリング、ノイズ注入を含む包括的な摂動スキームを点群入力に適用する。
• 中心、クラス、サイズに特化した3つの専用損失を用いて、生徒と教師の予測の一貫性を強制する。
• ラベル付きデータと教師ネットワークからの疑似ラベル予測を併用して、生徒ネットワークを訓練する。
• 生徒の重みから教師の重みを段階的に更新するモーメンタム更新戦略を用いる。
• 3つの一貫性損失を統合し、3次元オブジェクト検出における幾何学的および意味的正則化を共同で行う。

実験結果

リサーチクエスチョン

• RQ1 半教師付き画像分類から得られる自己アンサンブル技術を、点群における3次元オブジェクト検出に効果的に適応できるか？
• RQ2 特化した摂動スキームが、3次元半教師付き検出における汎化性能をどのように向上させるか？
• RQ3 幾何学的（中心、サイズ）と意味的（クラス）の一貫性の相対的寄与度は、モデル性能にどのように影響するか？
• RQ4 SESSは、ラベル付きデータを50%に制限しても、完全教師あり手法と同等の性能を達成できるか？
• RQ5 このフレームワークは、帰納的および転移的シナリオを含む、さまざまな3次元検出設定に一般化可能か？

主な発見

• SESSは、SUN RGB-Dで40.7%の平均mAP、ScanNetV2で52.0%の平均mAPを達成し、完全教師ありSOTA手法と同等の性能を示した。
• 中心、クラス、サイズの3つの一貫性損失を併用した場合が最良の性能を示し、それらが検出精度の向上に補完的役割を果たしていることを示した。
• 中心に特化した一貫性損失とクラスに特化した一貫性損失が、サイズに特化した損失よりもより顕著な寄与を示したが、3つすべてが最終的な結果の向上に寄与した。
• ScanNetでは、30%のラベル付きデータで27体中26体のチェアと7体すべてのテーブルを検出でき、完全教師ありのVoteNetが24体のチェアと6体のテーブルしか検出できなかったのに対し、SESSが優れた性能を示した。
• 定性的な結果から、SESSはより正確で一貫性のある3次元バウンディングボックスを生成しており、人間の認知と整合する未アノテートのオブジェクトでさえ検出できた。
• アブレーションスタディにより、摂動スキームがモデルのロバストネスを向上させていることが確認され、特にスケーリングと回転の摂動が、複数のデータセットで一貫した向上効果を示した。