[논문 리뷰] Uncertainty-aware Mean Teacher for Source-free Unsupervised Domain Adaptive 3D Object Detection

Deepti Hegde, Vishwanath A. Sindagi외 4명|arXiv (Cornell University)|2021. 09. 29.

Advanced Neural Network Applications참고 문헌 32인용 수 19

한 줄 요약

이 논문은 3D 객체 검출을 위한 소스-프리 비지도 학습 도메인 적응에서 불확실성 인식을 고려한 메인 티처 프레임워크를 제안한다. 몬테 카를로 드롭아웃을 활용해 모델의 불확실성을 추정하고, 훈련 중 신뢰할 수 없는 가짜 레이블의 손실을 낮게 조정한다. 이 방법은 KITTI, Waymo, nuScenes 데이터셋에서 크로스데이터셋 및 크로스_WE더 도메인 이동 상황에서 최신 기술(SOTA) 성능을 달성하며, ST3D 및 반지도 학습 기반 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

Pseudo-label based self training approaches are a popular method for source-free unsupervised domain adaptation. However, their efficacy depends on the quality of the labels generated by the source trained model. These labels may be incorrect with high confidence, rendering thresholding methods ineffective. In order to avoid reinforcing errors caused by label noise, we propose an uncertainty-aware mean teacher framework which implicitly filters incorrect pseudo-labels during training. Leveraging model uncertainty allows the mean teacher network to perform implicit filtering by down-weighing losses corresponding uncertain pseudo-labels. Effectively, we perform automatic soft-sampling of pseudo-labeled data while aligning predictions from the student and teacher networks. We demonstrate our method on several domain adaptation scenarios, from cross-dataset to cross-weather conditions, and achieve state-of-the-art performance in these cases, on the KITTI lidar target dataset.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간 라이다 센서 유형, 환경, 기상 조건의 차이로 인한 3D 객체 검출의 도메인 이동 문제를 해결하기 위함.
• 소스-프리 비지도 학습 도메인 적응에서 가짜 레이블 기반 자기 학습의 한계를 극복하기 위함. 특히, 높은 신뢰도를 가진 잘못된 레이블이 모델 성능을 떨어뜨릴 수 있음.
• 소스 도메인 데이터나 레이블에 접근할 수 없음에도 검출 정확도를 향상시키는 방법을 개발하기 위함. 이는 개인정보가 민감하거나 데이터 제약이 있는 환경에서의 실용적 구현 가능성을 높임.
• 모델의 불확실성을 활용해 훈련 중 노이즈가 많은 가짜 레이블을 암묵적으로 걸러내기 위함. 신뢰도 임계값에만 의존하는 것과는 다름.

제안 방법

• 소스 학습 모델(예: SECOND-IoU)에서 초기화된 학생 및 교사 네트워크를 갖춘 메인 티처 프레임워크를 사용하며, 교사의 가중치는 지수 이동 평균을 통해 점진적으로 업데이트됨.
• 학생 네트워크를 사용해 타겟 도메인에 대해 반복적으로 가짜 레이블을 생성하고, 여러 훈련 단계를 거쳐 레이블 품질을 향상시킴.
• 몬테 카를로 드롭아웃을 활용해 모델 불확실성을 추정함. 교사 네트워크를 T회 순전파하여 각 예측의 분산을 계산해 불확실성 수준을 정량화함.
• 불확실성 인식 손실 가중치 적용: 높은 불확실성(높은 분산)을 가진 샘플은 훈련 중에 가중치를 낮춰 노이즈가 많은 또는 잘못된 가짜 레이블의 영향을 줄임.
• 유동적인 손실 기여도 조정을 통한 소프트 샘플링을 구현함으로써, 낮은 품질의 가짜 레이블 예측을 암묵적으로 걸러내는 방식.
• 학생 네트워크를 소스 데이터의 진짜 레이블과 타겟 도메인의 가짜 레이블을 결합해 훈련하며, 교사 네트워크의 불확실성 인식 지도를 통해 보완함.

실험 결과

연구 질문

• RQ1 몬테 카를로 드롭아웃을 통한 불확실성 추정이 소스-프리 도메인 적응에서 가짜 레이블 기반 자기 학습의 강건성을 향상시키는가?
• RQ2 신뢰도 기반 필터링과 비교해 불확실성 인식 손실 가중치는 고신뢰도 노이즈 가짜 레이블의 영향을 얼마나 효과적으로 완화하는가?
• RQ3 반복적인 가짜 레이블 개선이 크로스데이터셋 및 악기상 조건 도메인 이동 상황에서 검출 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 KITTI, Waymo, nuScenes와 같은 벤치마크 3D 검출 데이터셋에서 기존의 소스-프리 및 반지도 학습 도메인 적응 접근법을 초월하는가?

주요 결과

• 제안된 방법은 Waymo → KITTI, Waymo → nuScenes, 크로스_WE더 조건을 포함한 모든 평가된 도메인 이동 시나리오에서 최신 기술(SOTA) 수준의 평균 정밀도(mAP)를 달성함.
• KITTI 데이터셋에서 ST3D 및 반지도 학습 기반 통계 정규화 기준선을 모두 초월하며, 모든 난이도 범주에서 높은 mAP를 기록함.
• 불확실성 인식 메인 티처 프레임워크는 불확실성 인식이 없는 변형보다 뚜렷한 성능 향상을 보이며, 특히 고신뢰도 잘못된 가짜 레이블로 인한 오진 검출을 줄이는 데 효과적임.
• 반복적인 가짜 레이블 생성은 mAP 향상에 도움이 되지만, 약 J ≈ 3회 반복 이후 성능이 정점에 도달하거나 감소함을 보여, 최적의 개선 단계가 존재함.
• 모델 불확실성 분석 결과, 훈련 종료 시 교사 네트워크가 잘못된 가짜 레이블에 대해 더 높은 분산을 할당함을 확인하여 최적화 과정에서 효과적인 가중치 조정이 가능함.
• 정성적 결과 분석에서 제안된 방법은 소스 전용 모델 및 ST3D보다 더 정확하고 국소화된 검출 결과를 도출함. 특히 고신뢰도 오진 검출을 크게 줄임.