[논문 리뷰] ST3D: Self-training for Unsupervised Domain Adaptation on 3D Object Detection

Jihan Yang, Shaoshuai Shi외 3명|arXiv (Cornell University)|2021. 03. 09.

Advanced Neural Network Applications참고 문헌 56인용 수 9

한 줄 요약

ST3D는 3D 객체 검출에서 비지도 도메인 적응을 위한 자기학습 프레임워크를 제안하며, 랜덤 객체 스케일링을 통해 소스 도메인 편향을 줄이고, 품질 인식형 트리플릿 메모리 백을 통해 고품질의 가짜 레이블을 생성하며, 교육 과정 기반 데이터 증강을 통해 과적합을 방지한다. 이는 상태의 기술 수준을 넘어선 성능을 달성하며, Waymo→KITTI 벤치마크에서 완전히 지도 학습된 결과를 초월한다.

ABSTRACT

We present a new domain adaptive self-training pipeline, named ST3D, for unsupervised domain adaptation on 3D object detection from point clouds. First, we pre-train the 3D detector on the source domain with our proposed random object scaling strategy for mitigating the negative effects of source domain bias. Then, the detector is iteratively improved on the target domain by alternatively conducting two steps, which are the pseudo label updating with the developed quality-aware triplet memory bank and the model training with curriculum data augmentation. These specific designs for 3D object detection enable the detector to be trained with consistent and high-quality pseudo labels and to avoid overfitting to the large number of easy examples in pseudo labeled data. Our ST3D achieves state-of-the-art performance on all evaluated datasets and even surpasses fully supervised results on KITTI 3D object detection benchmark. Code will be available at https://github.com/CVMI-Lab/ST3D.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간 센서, 날씨, 지리적 요소의 차이로 인한 도메인 이동 문제를 해결하기 위해.
• 노이즈가 많은 가짜 레이블과 쉬운 예제에 과적합되는 문제로 인해 단순 자기학습이 3D 검출에서 실패하는 것을 극복하기 위해.
• 타겟 도메인의 애너테이션을 요구하지 않고도 모델의 일반화 능력을 향상시키는 견고한 자기학습 파이프라인을 설계하기 위해.
• 사전 훈련 중 데이터 증강을 통해 소스 도메인의 객체 크기 분포에서 기인하는 편향을 줄이기 위해.
• 앙상블 및 투표 메커니즘을 활용한 메모리 백을 통해 가짜 레이블의 안정성과 향상된 품질을 확보하기 위해.

제안 방법

• 사전 훈련 중 소스 도메인의 객체 크기 편향을 완화하기 위해 랜덤 객체 스케일링(RoS)을 데이터 증강 전략으로 도입한다.
• IoU 기반 점수, 트리플릿 박스 분할, 메모리 앙상블 및 투표를 활용해 신뢰할 수 있는 가짜 레이블을 생성하는 품질 인식형 트리플릿 메모리 백(QTMB)을 제안한다.
• 증강 강도를 점진적으로 증가시키는 교육 과정 기반 데이터 증강(CDA) 전략을 적용하여 과적합을 방지하고 모델의 강건성을 향상시킨다.
• 다중 순차 전방향 프로세스 동안 가짜 레이블을 저장하고 집계하는 메모리 백을 활용해 레이블 일관성 향상과 노이즈 감소를 달성한다.
• 양성 및 부정성 IoU 임계값을 설정하여 애매한 예제를 제외하기 위해 트리플릿 박스 분할 기법을 적용해 레이블 신뢰도를 향상시킨다.
• 메모리 앙상블에서 NMS, 이분할 매칭, 최대 점수 융합을 조합하여 가짜 레이블 예측을 정밀하게 다듬고 일관성 없는 예측에서 발생하는 오류를 줄인다.

실험 결과

연구 질문

• RQ1 타겟 도메인 애너테이션이 전혀 없는 비지도 도메인 적응 환경에서 자기학습이 3D 객체 검출에 효과적으로 적용될 수 있는가?
• RQ2 자기학습 과정에서 오류 누적을 방지하기 위해 3D 검출에서 가짜 레이블의 품질을 어떻게 향상시킬 수 있는가?
• RQ3 데이터 증강은 가짜 레이블 데이터에서 쉬운 예제에 과적합되는 것을 방지하는 데 어떤 역할을 하는가?
• RQ4 사전 훈련 단계에서 객체 크기 분포의 차이로 인한 도메인 이동 문제를 어떻게 완화할 수 있는가?
• RQ5 메모리 기반 앙상블 및 투표 메커니즘이 가짜 레이블 생성을 안정화시키고 모델의 일반화 능력을 향상시키는 데 기여하는가?

주요 결과

• ST3D는 평가된 모든 데이터셋(KITTI, Waymo, nuScenes, Lyft)에서 최고의 성능을 기록한다.
• Waymo→KITTI 벤치마크에서 ST3D는 완전히 지도 학습된 오라클 결과를 초월하며, BEV AP 85.83%와 3D AP 73.37%를 달성한다.
• 다양한 도메인 적응 설정에서 소스 전용 모델과 완전히 지도 학습된 모델 간의 성능 격차를 16%에서 75%까지 감소시킨다.
• 제거 실험 결과, 메모리 투표 기능을 제거할 경우 3D AP가 2.4% 이상 감소함을 확인하여, 저품질 가짜 레이블을 걸러내는 데서의 중요성을 입증한다.
• 교육 과정 기반 증강 전략은 일반적인 강도 대비 0.9% 향상된 성능을 기록하지만, 더 강한 증강은 정확도를 떨어뜨린다.
• 트리플릿 박스 분할 메커니즘은 핵심적이다: 이 기능을 제거하면 IoU 임계값에 따라 3.3%에서 5.4%까지 성능 저하가 발생한다.