[논문 리뷰] SESS: Self-Ensembling Semi-Supervised 3D Object Detection

Na Zhao, Tat‐Seng Chua외 1명|arXiv (Cornell University)|2019. 12. 26.

3D Shape Modeling and Analysis참고 문헌 29인용 수 12

한 줄 요약

SESS는 레이블이 부여된 데이터가 50%에 불과한 상황에서도 레이블되지 않은 포인트 클라우드를 활용하여 검출 성능을 향상시키는 자기 앙상블(semi-supervised) 3D 객체 검출 프레임워크를 제안한다. 포괄적인 변형 기법과 세 가지 일관성 손실(중심, 클래스, 크기)을 적용하여 교사 및 학생 네트워크 예측 간의 일치를 강화함으로써, SUN RGB-D 및 ScanNet에서 완전히 감독된 최신 기술 대비 경쟁적인 성능을 달성한다.

ABSTRACT

The performance of existing point cloud-based 3D object detection methods heavily relies on large-scale high-quality 3D annotations. However, such annotations are often tedious and expensive to collect. Semi-supervised learning is a good alternative to mitigate the data annotation issue, but has remained largely unexplored in 3D object detection. Inspired by the recent success of self-ensembling technique in semi-supervised image classification task, we propose SESS, a self-ensembling semi-supervised 3D object detection framework. Specifically, we design a thorough perturbation scheme to enhance generalization of the network on unlabeled and new unseen data. Furthermore, we propose three consistency losses to enforce the consistency between two sets of predicted 3D object proposals, to facilitate the learning of structure and semantic invariances of objects. Extensive experiments conducted on SUN RGB-D and ScanNet datasets demonstrate the effectiveness of SESS in both inductive and transductive semi-supervised 3D object detection. Our SESS achieves competitive performance compared to the state-of-the-art fully-supervised method by using only 50% labeled data. Our code is available at https://github.com/Na-Z/sess.

연구 동기 및 목표

• 포인트 클라우드 기반 3D 객체 검출에서 대규모 3D 애너테이션의 높은 비용과 부족함을 해결한다.
• 레이블이 부족한 소규모 데이터 세트에 대해 3D 객체 검출에서 준지도 학습을 탐색한다.
• 레이벨되지 않은 데이터로부터의 지식 전이를 효과적으로 구현하여 검출 정확도를 향상시키는 프레임워크를 개발한다.
• 포인트 클라우드 데이터에 특화된 변형 기법을 설계하여 모델의 일반화 능력을 향상시킨다.
• 교사 및 학생 예측 간의 구조적 및 의미적 불변성을 강제하기 위해 세 가지 일관성 손실을 도입한다.

제안 방법

• 학생 및 교사 3D 객체 검출 네트워크를 갖춘 평균 교사(Weighted Mean Teacher) 패러다임을 채택한다.
• 포인트 클라우드 입력에 대해 종합적인 변형 기법을 적용하며, 이는 회전, 스케일링, 노이즈 주입을 포함한다.
• 중심 인식, 클래스 인식, 크기 인식의 세 가지 전용 손실을 통해 학생 및 교사 예측 간의 일관성을 강제한다.
• 학생 네트워크를 레이블된 데이터와 교사 네트워크로부터의 의사 레이블 예측을 함께 사용하여 훈련한다.
• 학생 네트워크의 가중치에서 교사 네트워크의 가중치를 점진적으로 갱신하기 위해 운동량 업데이트 전략을 사용한다.
• 세 가지 일관성 손실을 통합하여 기하학적 및 의미적 특성을 함께 정규화한다.

실험 결과

연구 질문

• RQ1 준지도 학습 이미지 분류에서의 자기 앙성화 기법이 포인트 클라우드 기반 3D 객체 검출에 효과적으로 적용될 수 있는가?
• RQ2 특화된 변형 기법이 3D 준지도 학습 검출에서 일반화 능력을 어떻게 향상시키는가?
• RQ3 기하학적(중심, 크기) 및 의미적(클래스) 일관성의 기여도는 모델 성능에 대해 각각 어떤가?
• RQ4 SESS는 레이블이 50%에 불과한 경우에도 완전히 감독된 방법과 경쟁하는 성능을 달성할 수 있는가?
• RQ5 이 프레임워크는 유도적(inductive) 및 이행적(transductive) 설정을 포함한 다양한 3D 검출 환경에 일반화 가능한가?

주요 결과

• SESS는 SUN RGB-D에서 평균 mAP 40.7%와 ScanNetV2에서 52.0%의 성능을 달성하였으며, 이는 레이블이 50%에 불과한 상황에서도 완전히 감독된 최신 기술의 성능을 재현한다.
• 세 가지 일관성 손실(중심, 클래스, 크기)을 모두 조합할 경우 최고의 성능을 기록하여, 이들이 검출 정확도 향상에 상호 보완적인 역할을 한다는 것을 시사한다.
• 중심 인식 및 클래스 인식 일관성 손실이 크기 인식 손실보다 더 큰 기여도를 보였지만, 세 가지 모두 최종 결과 향상에 기여한다.
• ScanNet에서 SESS는 레이블이 30%일 때 27개의 의자 중 26개, 7개의 테이블을 모두 검출하였으며, 이는 완전히 감독된 VoteNet이 24개의 의자와 6개의 테이블만 검출한 것보다 뛰어난 성능을 보였다.
• 정성적 결과에서는 SESS가 더 정확하고 일관성 있는 3D 바운딩 박스를 생성하며, 인간의 인지와 일치하는 레이블이 없는 객체까지도 탐지함을 확인할 수 있었다.
• 제거 실험(ablation study) 결과 변형 기법이 강건성을 향상시키며, 스케일링 및 회전 변형이 다양한 데이터셋에서 가장 일관된 성능 향상을 이끌었다.