[논문 리뷰] ST3D++: Denoised Self-training for Unsupervised Domain Adaptation on 3D Object Detection

Jihan Yang, Shaoshuai Shi외 3명|arXiv (Cornell University)|2021. 08. 15.

Advanced Neural Network Applications인용 수 7

한 줄 요약

ST3D++는 3D 객체 검출에서 비지도 도메인 적응을 위한 노이즈 제거된 자기학습 프레임워크를 제안한다. 무작위 객체 스케일링, 하이브리드 품질 인식 트리플렛 메모리, 커리큘럼 데이터 증강, 소스 보조 학습을 통해 가짜 레이블 노이즈를 줄이고 모델 일반화 능력을 향상시킨다. 네 가지 벤치마크에서 최신 기술 수준 성능을 달성하며, Waymo→KITTI 설정에서 AP₃D 기준으로 기준 모델 대비 최대 38.16% 향상된다.

ABSTRACT

In this paper, we present a self-training method, named ST3D++, with a holistic pseudo label denoising pipeline for unsupervised domain adaptation on 3D object detection. ST3D++ aims at reducing noise in pseudo label generation as well as alleviating the negative impacts of noisy pseudo labels on model training. First, ST3D++ pre-trains the 3D object detector on the labeled source domain with random object scaling (ROS) which is designed to reduce target domain pseudo label noise arising from object scale bias of the source domain. Then, the detector is progressively improved through alternating between generating pseudo labels and training the object detector with pseudo-labeled target domain data. Here, we equip the pseudo label generation process with a hybrid quality-aware triplet memory to improve the quality and stability of generated pseudo labels. Meanwhile, in the model training stage, we propose a source data assisted training strategy and a curriculum data augmentation policy to effectively rectify noisy gradient directions and avoid model over-fitting to noisy pseudo labeled data. These specific designs enable the detector to be trained on meticulously refined pseudo labeled target data with denoised training signals, and thus effectively facilitate adapting an object detector to a target domain without requiring annotations. Finally, our method is assessed on four 3D benchmark datasets (i.e., Waymo, KITTI, Lyft, and nuScenes) for three common categories (i.e., car, pedestrian and bicycle). ST3D++ achieves state-of-the-art performance on all evaluated settings, outperforming the corresponding baseline by a large margin (e.g., 9.6% $\sim$ 38.16% on Waymo $ ightarrow$ KITTI in terms of AP$_{ ext{3D}}$), and even surpasses the fully supervised oracle results on the KITTI 3D object detection benchmark with target prior. Code will be available.

연구 동기 및 목표

• 센서, 기상, 지리적 차이로 인해 발생하는 소스(예: Waymo) 도메인과 타겟(예: KITTI) 도메인 간 3D 객체 검출의 도메인 이동 문제를 해결한다.
• 자기학습 파이프라인에서 발생하는 가짜 레이블 노이즈 문제(위치 오차 및 잘못된 분류로 인한 성능 저하)를 해결한다.
• 모든 단계(사전 학습, 가짜 레이블 생성, 모델 학습)에서 노이즈를 줄이는 통합형 엔드 투 엔드 자기학습 프레임워크를 개발한다.
• 약한 레이블 없이도 타겟 도메인의 비라벨 데이터에 대해 강건성과 일반화 능력을 향상시키며, 노이즈 많은 가짜 레이블에 대한 과적합을 완화한다.

제안 방법

• 소스 도메인에서 사전 학습 중 무작위 객체 스케일링(Reduced Object Scaling, ROS)을 도입하여 객체 크기 분포의 편향을 줄이고 스케일 관련 가짜 레이블 노이즈를 최소화한다.
• 박스 점수 기준을 활용한 하이브리드 품질 인식 트리플렛 메모리를 도입하여 낮은 신뢰도 예측을 필터링하고 다양한 시점 간의 일관성을 강화함으로써 가짜 레이블 품질을 향상시킨다.
• 점진적으로 증강 강도를 높이는 커리큘럼 데이터 증강(Curriculum Data Augmentation, CDA) 정책을 적용하여 학습 안정성을 확보하고 쉽게 학습된 가짜 레이블 샘플에 대한 과적합을 방지한다.
• 도메인 특화 배치 정규화(Domain-Specific Batch Normalization, DSNorm)를 활용한 소스 보조 감독(Sourced-Aided Supervision, SASD)을 도입하여 가짜 레이블 타겟 데이터 학습 시 노이즈가 많은 기울기 방향을 교정하고 도메인 이동 영향을 줄인다.
• 일관성 정규화된 가짜 레이블 업데이트 전략을 통합하여 반복 과정 동안 안정적이고 정확한 가짜 레이블 할당을 유지한다.
• 이러한 구성 요소들을 통합하여 가짜 레이블 생성과 모델 개선을 번갈아 수행하는 유일한 자기학습 파이프라인을 구축함으로써 노이즈 제거된 신뢰할 수 있는 학습 신호를 확보한다.

Figure 1: Performance of ST3D++ on the Waymo $\rightarrow$ KITTI task using SECOND-IoU [ 1 ] for car, pedestrian and cyclist. Our ST3D++ is compared with other unsupervised ( i.e. source only, naive ST), weakly-supervised ( i.e. SN [ 11 ] ) and fully supervised ( i.e. oracle) approaches. Dashed line

실험 결과

연구 질문

• RQ1 3D 객체 검출 자기학습에서 도메인 적응 과정 중 가짜 레이블 노이즈를 효과적으로 줄일 수 있는 방법은 무엇인가?
• RQ2 예를 들어 ROS와 같은 데이터 증강을 통한 사전 학습이 스케일 편향을 완화하고 가짜 레이블 품질을 향상시키는 데 얼마나 기여하는가?
• RQ3 품질 인식 점수 기반 하이브리드 트리플렛 메모리는 생성된 가짜 레이블의 일관성과 정확도를 향상시키는 데 기여하는가?
• RQ4 커리큘럼 데이터 증강은 노이즈 많은 가짜 레이블 데이터에 대해 학습할 때 모델 수렴과 강건성에 어떤 영향을 미치는가?
• RQ5 도메인 특화 정규화를 활용한 소스 보조 학습은 일반화 능력을 향상시키고 가짜 레이블의 악영향을 줄이는 데 효과적인가?

주요 결과

• ST3D++는 평가된 네 가지 벤치마크—Waymo, KITTI, Lyft, nuScenes—모든 곳에서 차량, 보행자, 자전거 검출 작업에서 최신 기술 수준 성능을 달성한다.
• 도전적인 Waymo→KITTI 이행 설정에서 ST3D++는 기준 모델 대비 AP₃D를 9.6% 향상시켜 최대 38.16%까지 향상시키며, 기존 비지도 방법들을 크게 능가한다.
• 타겟 도메인 사전 지식이 있는 경우, KITTI 3D 검출 벤치마크에서 완전히 감독된 오라클 결과를 초월하여 놀라운 일반화 능력을 입증한다.
• 제거 분석 결과, ROS, 트리플렛 메모리, CDA, SASD 각 구성 요소가 가짜 레이블 품질 향상에 기여하며, 구성 요소를 추가할수록 #TPs와 AP₃D가 점진적으로 증가함을 확인했다.
• SASD 모듈 내 DSNorm는 배치 정규화 이동으로 인한 성능 저하를 줄여주며, Waymo→KITTI 벤치마크에서 보행자에 대해 2.94% 향상되고 자전거 기준으로는 7.27% 향상되었다.
• 커리큘럼 데이터 증강과 소스 보조 학습의 조합은 과적합을 감소시키고 강건성을 향상시켜 강력한 기준 증강 대비 AP₃D에서 0.6% 향상된 성과를 기록했다.

Figure 2: Examples of two types self-training noise ( red and blue boxes stand for predicted pseudo labels and GTs, respectively). Upper row: ”localization noise” consists of pseudo labels that locate GTs well but suffers from regression errors to their corresponding GTs. Bottom row: “classification