[논문 리뷰] Diffusion-SS3D: Diffusion Model for Semi-supervised 3D Object Detection

Cheng-Ju Ho, Chen-Hsuan Tai외 3명|arXiv (Cornell University)|2023. 12. 05.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 3D 객체 검출에서 노이즈가 있는 가짜 레이블을 보정하기 위해 복소 모델을 활용하는 새로운 준지도 학습 3D 객체 검출 프레임워크인 Diffusion-SS3D를 제안한다. 이는 손상된 3D 객체 크기와 클래스 레이블 분포를 노이즈 제거함으로써 보다 정교한 가짜 레이블을 생성한다. 교사-학생 프레임워크에 복소 모델을 통합함으로써 더 고품질의 가짜 레이블을 생성하며, ScanNet 및 SUN RGB-D 데이터셋에서 기존 방법 대비 6% 이상의 mAP@0.5 향상을 달성하여 최신 기술 수준에 도달한다.

ABSTRACT

Semi-supervised object detection is crucial for 3D scene understanding, efficiently addressing the limitation of acquiring large-scale 3D bounding box annotations. Existing methods typically employ a teacher-student framework with pseudo-labeling to leverage unlabeled point clouds. However, producing reliable pseudo-labels in a diverse 3D space still remains challenging. In this work, we propose Diffusion-SS3D, a new perspective of enhancing the quality of pseudo-labels via the diffusion model for semi-supervised 3D object detection. Specifically, we include noises to produce corrupted 3D object size and class label distributions, and then utilize the diffusion model as a denoising process to obtain bounding box outputs. Moreover, we integrate the diffusion model into the teacher-student framework, so that the denoised bounding boxes can be used to improve pseudo-label generation, as well as the entire semi-supervised learning process. We conduct experiments on the ScanNet and SUN RGB-D benchmark datasets to demonstrate that our approach achieves state-of-the-art performance against existing methods. We also present extensive analysis to understand how our diffusion model design affects performance in semi-supervised learning.

연구 동기 및 목표

• 광범위하고 다양한 3D 기하 공간으로 인해 준지도 학습 3D 객체 검출에서 고품질의 가짜 레이블을 생성하는 데 도전하는 문제를 해결하기 위해.
• 특히 모델의 재현율이 낮거나 초기 예측이 열악한 경우, 미학습된 3D 포인트 클라우드의 가짜 레이블 신뢰도를 향상시키기 위해.
• 3D 객체 크기와 클래스 레이블 분포에 대한 노이즈 제거 기능으로서 복소 모델의 활용 가능성을 탐색하여 가짜 레이블 품질을 향상시키기 위해.
• 복소 모델을 교사-학생 프레임워크에 통합하여 반복적으로 가짜 레이블을 정밀하게 다듬고 준지도 학습 성능을 향상시키기 위해.

제안 방법

• 가짜 레이블 입력으로 사용하기 위해 가우시안 노이즈를 사용해 3D 객체 크기와 클래스 레이블 분포를 손상시킨다.
• 손상된 객체 크기와 클래스 레이블을 반복적으로 노이즈 제거하여 더 현실적인 경계 상자 예측을 생성하는 복소 모델을 사용한다.
• 복소 모델을 교사-학생 프레임워크에 통합한다: 학생 모델은 라벨된 데이터와 가짜 레이블을 기반으로 학습하고, 교사는 복소 샘플링을 통해 개선된 가짜 레이블을 생성한다.
• 초기 노이즈가 있는 경계 상자 후보를 생성하기 위해 가장 먼 점 샘플링(Farthest Point Sampling, FPS)을 사용하여 대표적인 3D 점들을 중심으로 선택함으로써 커버리지와 재현율을 향상시킨다.
• 교사 모델 가중치를 안정적으로 업데이트하기 위해 지수 이동 평균(Exponential Moving Average, EMA)을 사용한다.
• 추론 단계에서는 훈련된 복소 샘플러를 사용하여 무작위로 초기 설정된 객체 크기와 클래스 레이블을 노이즈 제거함으로써 최종 예측을 생성한다.

실험 결과

연구 질문

• RQ1 복소 모델이 손상된 객체 크기와 클래스 레이블을 노이즈 제거하여 준지도 학습 3D 객체 검출에서 가짜 레이블 품질을 효과적으로 향상시킬 수 있는가?
• RQ2 기존의 교사-학생 방법과 비교했을 때, 복소 기반 노이즈 제거를 통합하면 가짜 레이블의 경계 상자 재현율과 정확도에 어떤 영향을 미치는가?
• RQ3 중심점 선택에 가장 먼 점 샘플링(Farthest Point Sampling, FPS)을 사용하는 것이 복소 기반 가짜 레이블 생성 과정의 성능과 안정성에 기여하는가?
• RQ4 낮은 데이터 환경에서 실내 3D 검출 벤치마크에서 복소 모델이 모델 일반화 능력과 수렴 속도를 얼마나 향상시키는가?
• RQ5 준지도 학습 3D 객체 검출에서 복소 모델이 장기간에 걸쳐 일관된 성능 향상을 유지할 수 있는가?

주요 결과

• Diffusion-SS3D는 ScanNet 5% 분할에서 기존 최고 기술 대비 6% 이상의 mAP@0.5 향상을 달성하여 1000번째 에포크에 30.93%의 mAP@0.5를 기록했다.
• 시간이 지남에 따라 안정적이고 일관된 성능 향상을 유지하며, 800번째 에포크의 mAP@0.5가 22.42%에서 1000번째 에포크에서도 동일한 22.42%를 유지함으로써 강력한 학습 능력을 입증했다.
• 복소 구성 요소가 가짜 레이블 품질을 향상시켰음을 증명하는 바, 1000번째 에포크에 미학습 데이터에서의 recall@0.5가 44.17%로 기록되었으며, 이는 3DIoUMatch 기준 35.25%보다 뚜렷한 향상이다.
• FPS를 중심점 선택에 사용할 경우 무작위 샘플링 대비 더 높은 성능을 기록했으며, 복소 모델과 조합했을 때 mAP@0.5가 27.9%에 도달했다.
• 제거 분석 결과 복소 모델이 성능 향상에 크게 기여하는 것으로 확인되었으며, FPS와 복소 구성 요소를 사용했을 때 mAP@0.25는 43.5%, mAP@0.5는 27.9%를 기록했다.
• 이 방법은 강력한 일반화 능력을 보이며, ScanNet 및 SUN RGB-D 벤치마크에서 모두 최신 기술 수준의 결과를 달성했으며, 다양한 평가 지표에서 일관된 향상을 보였다.