[논문 리뷰] SE-SSD: Self-Ensembling Single-Stage Object Detector From Point Cloud

Zheng Wu, Weiliang Tang외 2명|arXiv (Cornell University)|2021. 04. 20.

Advanced Neural Network Applications참고 문헌 36인용 수 19

한 줄 요약

SE-SSD는 점군을 위한 자기 앙상블링(self-ensembling) 단일 단계 3D 객체 검출기로, 일致성 손실과 형태 인지 데이터 증강을 활용한 교사-학생 드롭아웃 틀을 제안한다. 교사 네트워크의 소프트 타겟과 기하학적 특성을 고려한 증강을 통해 학생 네트워크는 KITTI에서 정확도와 견고성을 향상시키며, 기준 SSD 대비 1.7% mAP 향상을 달성하여 최신 기술 수준에 도달한다.

ABSTRACT

We present Self-Ensembling Single-Stage object Detector (SE-SSD) for accurate and efficient 3D object detection in outdoor point clouds. Our key focus is on exploiting both soft and hard targets with our formulated constraints to jointly optimize the model, without introducing extra computation in the inference. Specifically, SE-SSD contains a pair of teacher and student SSDs, in which we design an effective IoU-based matching strategy to filter soft targets from the teacher and formulate a consistency loss to align student predictions with them. Also, to maximize the distilled knowledge for ensembling the teacher, we design a new augmentation scheme to produce shape-aware augmented samples to train the student, aiming to encourage it to infer complete object shapes. Lastly, to better exploit hard targets, we design an ODIoU loss to supervise the student with constraints on the predicted box centers and orientations. Our SE-SSD attains top performance compared with all prior published works. Also, it attains top precisions for car detection in the KITTI benchmark (ranked 1st and 2nd on the BEV and 3D leaderboards, respectively) with an ultra-high inference speed. The code is available at https://github.com/Vegeta2020/SE-SSD.

연구 동기 및 목표

• 희소 외부 점군에서 단일 단계 3D 객체 검출을 향상시키기 위해 추가 애너테이션 없이 자기 앙상블링을 사용한다.
• 막힘, 거리, 객체 형태 다양성으로 인한 도메인 이동과 특징 변동성을 형태 인지 데이터 증강을 통해 해결한다.
• 일致성 손실을 통해 소프트 타겟을 기반으로 한 교사 네트워크 예측과 일치시킴으로써 학생 네트워크의 일반화 능력을 향상시킨다.
• IoU 기반 매칭과 소프트 타겟에 대한 Smooth-L1 손실을 통해 기울기 변동성을 줄이고 최적화 안정성을 향상시킨다.
• 점군 입력만을 사용하여 단일 단계 검출기로 KITTI에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 프레임워크는 동일한 백본을 사용하는 학생-교사 SSD 아키텍처를 사용한다: SPConvNet은 3D 특징 추출을 위해, BEVConvNet은 조망도 특징 학습을 위해, 다중 작업 헤드는 경계 상자 및 분류 예측을 위해 사용된다.
• 교사 네트워크는 신뢰도 및 IoU 필터링(임계값 τc 및 τI)을 사용하여 원시 점군에서 소프트 타겟을 생성함으로써 타겟 품질을 향상시킨다.
• IoU 기반 매칭을 사용하여 학생 및 교사 예측 간 일치성 손실을 적용하며, 상자 오프셋(x,y,z,w,l,h), 방향(r), 분류 점수에 대한 Smooth-L1 손실을 최소화한다.
• 형태 인지 데이터 증강은 각 객체를 6개의 피라미드형 점 부분집합으로 나누고, 무작위 드롭아웃, 스왑, 희소화를 적용하여 막힘, 객체 유사성, 범위 의존적 희소성을 시뮬레이션한다.
• 증강 이전에 전역 변환(이동, 반전, 스케일)을 적용하여 데이터 분포를 더욱 확장한다.
• 학생은 다중 손실 목적함수로 훈련되며, 상자 회귀를 위한 ODIoU, 분류를 위한 포칼 손실, 방향을 위한 방향 손실, 소프트 타겟과의 일치성 손실이 포함된다.

실험 결과

연구 질문

• RQ1 교사 네트워크에서 유도된 소프트 레이블을 사용한 자기 앙상블링이 희소 점군에서 단일 단계 3D 객체 검출의 일반화 능력을 향상시키는가?
• RQ2 막힘, 객체 유사성, 범위 변화를 시뮬레이션하는 형태 인지 데이터 증강이 검출기의 견고성과 정확도에 어떤 영향을 미치는가?
• RQ3 IoU 매칭 기반의 소프트 타겟에 기반한 일치성 손실이 하드 타겟만 사용하는 것보다 기울기 변동성을 줄이고 훈련 안정성을 향상시키는가?
• RQ4 지식 드롭아웃과 데이터 증강을 활용함으로써 추가 애너테이션 없이도 학생 네트워크가 표준 SSD를 초월할 수 있는가?
• RQ5 방향 인지 손실(ODIoU)은 BEV에서 축에 수직이 아닌 3D 경계 상자 예측에 어떤 영향을 미치는가?

주요 결과

• SE-SSD는 KITTI 3D 검출 벤치마크에서 기준 SSD 대비 1.7% 절대 mAP 향상을 달성하여 72.1% mAP에 도달한다.
• 소프트 타겟과의 일치성 손실은 기울기 변동성을 줄이고 수렴을 향상시켜 안정적인 훈련 곡선과 학생-교사 예측 간 보다 우아한 일치를 보여준다.
• 형태 인지 데이터 증강은 실제 세계의 변형(부분 막힘, 점 희소성 등)을 시뮬레이션하여 성능을 크게 향상시키며, 특히 도전적인 조건에서 두드러진다.
• ODIoU 손실의 (1−|cos(Δr)|) 항은 방향 보정을 효과적으로 이끌어내어 방향 오차를 줄이고 수렴 속도를 가속화한다.
• 교사 네트워크 업데이트에 지수 이동 평균(EMA)을 사용함으로써 안정적인 소프트 타겟 생성이 가능해져 훈련 전반에 걸쳐 효과적인 드롭아웃을 가능하게 한다.
• 제거 실험을 통해 일치성 손실과 형태 인지 증강이 모두 필수적임을 확인하였으며, 각 구성 요소가 최종 mAP 향상에 기여한다.