[논문 리뷰] Uncertainty-Aware Unsupervised Domain Adaptation in Object Detection

Dayan Guan, Jiaxing Huang외 3명|arXiv (Cornell University)|2021. 02. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 82인용 수 5

한 줄 요약

이 논문은 객체 검출을 위한 새로운 비지도 도메 적응 프레임워크인 불확실성 인식 도메인 적응 네트워크(UaDAN)를 제안한다. 이는 표본의 불확실성을 사용하여 적응적 손실 가중치를 설정함으로써 잘 정렬된 특징을 보호하면서도 잘못 정렬된 특징에 집중하는 방식으로, 적응적 적대적 학습과 불확실성 유도 교육 과정 학습을 결합하여 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptive object detection aims to adapt detectors from a labelled source domain to an unlabelled target domain. Most existing works take a two-stage strategy that first generates region proposals and then detects objects of interest, where adversarial learning is widely adopted to mitigate the inter-domain discrepancy in both stages. However, adversarial learning may impair the alignment of well-aligned samples as it merely aligns the global distributions across domains. To address this issue, we design an uncertainty-aware domain adaptation network (UaDAN) that introduces conditional adversarial learning to align well-aligned and poorly-aligned samples separately in different manners. Specifically, we design an uncertainty metric that assesses the alignment of each sample and adjusts the strength of adversarial learning for well-aligned and poorly-aligned samples adaptively. In addition, we exploit the uncertainty metric to achieve curriculum learning that first performs easier image-level alignment and then more difficult instance-level alignment progressively. Extensive experiments over four challenging domain adaptive object detection datasets show that UaDAN achieves superior performance as compared with state-of-the-art methods.

연구 동기 및 목표

• 전통적인 적대적 학습이 전역 특징 분포를 균일하게 정렬함으로써 잘 정렬된 샘플을 잘못 정렬할 수 있는 한계를 해결한다.
• 이미지 수준에서의 특징 정렬을 먼저 수행함으로써 두 단계 객체 검출 파이프라인에서의 오차 누적을 줄인다.
• 예측 불확실성을 활용하여 타겟 도메인에서 레이블이 제한적이거나 전혀 없는 상황에서도 모델의 강건성과 일반화 능력을 향상시킨다.
• 샘플의 불확실성에 기반해 적대적 손실을 동적으로 조정하는 방법을 개발하여 잘 정렬된 샘플은 유지하면서 잘못 정렬된 샘플은 보정한다.

제안 방법

• 엔트로피를 사용해 예측 불확실성을 추정하고, 적응적 적대적 손실 가중치를 할당하는 불확실성 인식 적대적 학습(UaAL) 모듈을 도입한다. 낮은 불확실성(잘 정렬됨) 샘플에는 낮은 가중치, 높은 불확실성(잘 정렬되지 않음) 샘플에는 높은 가중치를 적용한다.
• 이미지 수준 특징 정렬을 먼저 수행하는 두 단계 트레이닝 파이프라인을 설계하며, 이는 불확실성 유도 손실을 통해 이루어지고, 이후에 개체 수준 정렬을 수행하여 오차 전파를 줄인다.
• 엔트로피를 사용해 정렬의 난이도를 결정하고, 더 쉬운 이미지 수준 정렬을 우선시한 후에 어려운 개체 수준 정렬으로 전환하는 불확실성 유도 교육 과정 학습(UgCL)을 설계한다.
• 전체 손실를 검출 손실, 불확실성 가중 이미지 수준 적대적 손실($\mathcal{L}_{img}^{ua}$), 불확실성 가중 개체 수준 적대적 손실($\mathcal{L}_{ins}^{ua}$)의 조합으로 설정하며, 온도 파rameter $\xi$는 교육 과정 스케줄을 제어한다.
• 엔트로피를 불확실성 측정 지표로 사용한다: $H(y) = -\sum_{c} p_c \log p_c$, 여기서 $p_c$는 클래스 $c$의 예측 확률이며, 이는 모델의 자신감을 정량화하고 손실 가중치를 안내하는 데 사용된다.
• 이미지 수준 정렬이 낮은 불확실성에 도달한 후에야 개체 수준 정렬이 활성화되는 교육 과정 스케줄을 사용해 엔드 투 엔드로 모델을 훈련시켜 안정적이고 점진적인 적응을 보장한다.

실험 결과

연구 질문

• RQ1 예측 불확실성에 기반한 적응적 적대적 손실 가중치 설정이 잘 정렬된 샘플을 해치지 않으면서도 비지도 객체 검출에서 도메인 정렬을 향상시킬 수 있는가?
• RQ2 이미지 수준에서 시작하여 개체 수준으로 점진적으로 진행되는 불확실성 유도 교육 과정 학습 전략이 오차 누적을 줄이고 검출 성능을 향상시키는가?
• RQ3 불확실성 인식 손실 가중치와 교육 과정 학습의 통합이 다양한 도메인 이동 시나리오에서 객체 검출 성능에 어떤 영향을 미치는가?
• RQ4 이미지 수준과 개체 수준 정렬 사이의 최적의 균형은 무엇이며, 하이퍼파rameter $\xi$는 제안된 방법의 성능에 어떤 영향을 미치는가?
• RQ5 UaDAN은 도메인 이동이 어려운 조건에서 기존 최신 기술 수준의 방법들을 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• UaDAN은 네 가지 과제 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다: Cityscapes → Mapillary Vistas (32.7% mAP), Cityscapes → Foggy Cityscapes (41.1% mAP), PASCAL VOC → Clipart1k (40.2% mAP).
• 제거 실험 결과, 불확실성 인식 적대적 학습(UaAL)이 이미지 수준과 개체 수준에서 표준 적대적 학습을 항상 능가하며, 특히 이미지 수준 정렬에서 가장 큰 성능 향상을 보였다.
• UgCL을 제외한 UaDAN는 개체 수준 UaAL과 이미지 수준 UaAL보다 모두 뛰어나 성능을 내어, 두 구성 요소가 상호 보완적이며 교육 과정 학습이 전체 성능 향상에 기여한다는 것을 입증한다.
• 완전한 UaDAN 모델은 UgCL을 제외한 모델보다 뚜렷한 성능 격차를 보이며, 불확실성 유도 교육 과정 학습이 점진적으로 도메인 정렬을 개선하는 데 효과적임을 입증한다.
• 하이퍼파rameter 민감도 분석 결과, $\xi = 0.5$가 세 가지 테스트 도메인 적응 과제에서 최고의 성능을 내어 이미지 수준과 개체 수준 정렬 간 최적의 균형을 이룬다는 것을 나타낸다.
• 모델는 빠르게 수렴하며, 첫 10,000 반복 이내에 훈련 및 테스트 손실이 급격히 감소하고 50,000 반복 이후에 안정화되어 안정적이고 효율적인 최적화임을 보여준다.