[論文レビュー] Diffusion-SS3D: Diffusion Model for Semi-supervised 3D Object Detection

Cheng-Ju Ho, Chen-Hsuan Tai+3 more|arXiv (Cornell University)|Dec 5, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文では、ノイズの多い疑似ラベルを、破損した3Dオブジェクトサイズとクラスラベル分布のノイズ除去によって洗練するための拡散モデルを活用する、新しい半教師付き3Dオブジェクト検出フレームワークであるDiffusion-SS3Dを提案する。教師-生徒フレームワークに拡散モデルを統合することで、より高品質な疑似ラベルを生成し、ScanNetおよびSUN RGB-Dデータセットで先行手法よりも6%以上のmAP@0.5の向上を達成し、最先端の性能を実現した。

ABSTRACT

Semi-supervised object detection is crucial for 3D scene understanding, efficiently addressing the limitation of acquiring large-scale 3D bounding box annotations. Existing methods typically employ a teacher-student framework with pseudo-labeling to leverage unlabeled point clouds. However, producing reliable pseudo-labels in a diverse 3D space still remains challenging. In this work, we propose Diffusion-SS3D, a new perspective of enhancing the quality of pseudo-labels via the diffusion model for semi-supervised 3D object detection. Specifically, we include noises to produce corrupted 3D object size and class label distributions, and then utilize the diffusion model as a denoising process to obtain bounding box outputs. Moreover, we integrate the diffusion model into the teacher-student framework, so that the denoised bounding boxes can be used to improve pseudo-label generation, as well as the entire semi-supervised learning process. We conduct experiments on the ScanNet and SUN RGB-D benchmark datasets to demonstrate that our approach achieves state-of-the-art performance against existing methods. We also present extensive analysis to understand how our diffusion model design affects performance in semi-supervised learning.

研究の動機と目的

• 広大で多様な3D幾何空間に起因する、半教師付き3Dオブジェクト検出における高品質な疑似ラベル生成の課題に対処すること。
• 特にモデルの再現率が低いか、初期予測が不正確な場合に、未ラベルの3Dポイントクラウドに対する疑似ラベルの信頼性を向上させること。
• 3Dオブジェクトサイズとクラスラベル分布のノイズ除去としての拡散モデルの利用を検討し、疑似ラベル品質の向上を図ること。
• 教師-生徒フレームワーク内に拡散モデルを統合し、疑似ラベルを繰り返し洗練することで、半教師付き学習の性能を向上させること。

提案手法

• ガウスノイズを用いて3Dオブジェクトサイズとクラスラベル分布を破損させ、拡散モデルの入力として使用するノイズの多い疑似ラベルを生成する。
• 拡散モデルを用いて、破損したオブジェクトサイズとクラスラベルを段階的にノイズ除去し、洗練された、より現実的なバウンディングボックス予測を生成する。
• 拡散モデルを教師-生徒フレームワークに統合する：生徒モデルはラベル付きデータと疑似ラベルで学習され、教師モデルは拡散サンプリングを用いて改善された疑似ラベルを生成する。
• 初期のノイズの多いバウンディングボックス候補の生成のため、遠方点抽出（FPS）を用いて代表的な3Dポイントを選択し、カバレッジと再現率を向上させる。
• 教師モデルの重みを更新するために指数移動平均（EMA）を用い、トレーニング中の疑似ラベル生成の安定性を高める。
• 推論時、訓練済みの拡散サンプラーを用いて、初期のランダムなオブジェクトサイズとクラスラベルをノイズ除去することで最終予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、破損したオブジェクトサイズとクラスラベルのノイズ除去によって、半教師付き3Dオブジェクト検出における疑似ラベル品質を効果的に向上させることができるか？
• RQ2 標準的な教師-生徒手法と比較して、拡散ベースのノイズ除去を組み込むことで、疑似ラベルのバウンディングボックスの再現率と精度はどのように変化するか？
• RQ3 中心点選択に遠方点抽出（FPS）を用いることで、拡散ベースの疑似ラベル生成プロセスの性能と安定性は向上するか？
• RQ4 低データ環境下における屋内3D検出ベンチマークで、拡散モデルはモデルの一般化能力と収束速度をどの程度向上させるか？
• RQ5 半教師付き3Dオブジェクト検出において、拡散モデルは延々とトレーニングエポックを経ても一貫した性能向上を維持できるか？

主な発見

• Diffusion-SS3Dは、ScanNet 5%スプリットにおいて、先行する最先端手法よりもmAP@0.5で6%以上の向上を達成し、エポック1000で30.93%のmAP@0.5を達成した。
• モデルは時間経過に伴っても安定した性能向上を示しており、エポック800でのmAP@0.5が22.42%からエポック1000での22.42%に維持され、学習の堅牢性を示している。
• 拡散部は疑似ラベル品質の向上に寄与しており、エポック1000における未ラベルデータのrecall@0.5が44.17%に達し、3DIoUMatchベースラインの35.25%を大きく上回った。
• FPSを用いた中心点選択は、ランダムサンプリングよりも優れた性能を示し、拡散モデルと組み合わせた際のmAP@0.5は27.9%に達した。
• アブレーションスタディの結果、拡散モデルは性能向上に顕著な貢献を示しており、FPSと拡散部を併用した場合、mAP@0.25は43.5%、mAP@0.5は27.9%を達成した。
• 本手法は優れた一般化能力を示し、ScanNetおよびSUN RGB-Dベンチマークの両方で最先端の結果を達成しており、複数の評価指標で一貫した向上を示した。