[논문 리뷰] A Free Lunch for Unsupervised Domain Adaptive Object Detection without Source Data

Xianfeng Li, Weijie Chen외 5명|arXiv (Cornell University)|2020. 12. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 11

한 줄 요약

이 논문은 원천 데이터에 접근할 수 없음에도 불구하고 사전 훈련된 원천 모델을 활용해 타겟 도메인 훈련을 위한 가짜 라벨를 생성하는 소스 데이터 프리(SFOD) 비지도 도메인 적응 객체 검출 프레임워크를 제안한다. 가짜 라벨 생성을 위한 최적의 신뢰도 임계값을 자동으로 선택하기 위해 자기 엔트로피 감소(Sed)를 도입하고, Mosaic 데이터 증강을 통해 가짜 음성(false negative)을 시뮬레이션함으로써, 여러 도메인 적응 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 기존의 UDA 방법에서 원천 데이터가 충분히 활용되지 않는다는 것을 보여준다.

ABSTRACT

Unsupervised domain adaptation (UDA) assumes that source and target domain data are freely available and usually trained together to reduce the domain gap. However, considering the data privacy and the inefficiency of data transmission, it is impractical in real scenarios. Hence, it draws our eyes to optimize the network in the target domain without accessing labeled source data. To explore this direction in object detection, for the first time, we propose a source data-free domain adaptive object detection (SFOD) framework via modeling it into a problem of learning with noisy labels. Generally, a straightforward method is to leverage the pre-trained network from the source domain to generate the pseudo labels for target domain optimization. However, it is difficult to evaluate the quality of pseudo labels since no labels are available in target domain. In this paper, self-entropy descent (SED) is a metric proposed to search an appropriate confidence threshold for reliable pseudo label generation without using any handcrafted labels. Nonetheless, completely clean labels are still unattainable. After a thorough experimental analysis, false negatives are found to dominate in the generated noisy labels. Undoubtedly, false negatives mining is helpful for performance improvement, and we ease it to false negatives simulation through data augmentation like Mosaic. Extensive experiments conducted in four representative adaptation tasks have demonstrated that the proposed framework can easily achieve state-of-the-art performance. From another view, it also reminds the UDA community that the labeled source data are not fully exploited in the existing methods.

연구 동기 및 목표

• 개인정보나 전송 제약으로 인해 원천 데이터에 접근할 수 없는 상황에서 비지도 도메인 적응 객체 검출의 실용적 과제를 해결하기 위해.
• 직접 원천 데이터의 레이블을 접근하지 않고도 사전 훈련된 원천 모델만을 사용해 효과적인 도메인 적응을 가능하게 하는 방법을 개발하기 위해.
• 실제 라벨가 없는 상황에서 자기 엔트로피 감소(Sed)를 사용해 신뢰도 임계값을 자동으로 선택함으로써 가짜 라벨의 품질을 향상시키기 위해.
• 특히 작은 또는 가림을 입은 객체에서 발생하는 주요 노이즈 유형인 가짜 음성에 영향을 줄이기 위해 Mosaic와 같은 데이터 증강 기법을 활용해 가짜 음성을 시뮬레이션하기 위해.
• 기존 UDA 방법이 원천 데이터를 충분히 활용하지 못하고 있으며, 원천 데이터 프리 적응 방법이 비교적 또는 더 우수한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 사전 훈련된 원천 모델을 사용해 레이블가 없는 타겟 도메인 샘플에 대해 가짜 라벨를 생성한다.
• 자기 엔트로피 감소(Sed)는 타겟 데이터셋 전반의 예측에 대한 평균 자기 엔트로피를 최소화함으로써 최적의 신뢰도 임계값을 탐색하는 메트릭으로 제안된다.
• 신뢰도 임계값은 높은 값에서 낮아지는 동안 평균 자기 엔트로피의 첫 번째 국소 최솟값에서 선택되며, 이는 진짜 양성과 노이즈 라벨 사이의 균형을 맞춘다.
• 가짜 라벨에서 가장 주요한 노이즈 유형은 가짜 음성으로, 특히 작은 또는 가려진 객체에서 두드러진다.
• Mosaic 데이터 증강은 가짜 음성을 시뮬레이션하고 어려운 양성 샘플의 검출을 향상시키기 위해 적용된다.
• 이 방법은 필터링되고 증강된 가짜 라벨를 사용해 타겟 검출기를 엔드 투 엔드로 자기 학습 방식으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 원천 도메인 데이터에 접근할 수 없을 때도 비지도 도메인 적응 객체 검출을 효과적으로 수행할 수 있는가?
• RQ2 실제 라벨가 없는 상황에서 가짜 라벨 생성을 위한 최적의 신뢰도 임계값은 어떻게 선택할 수 있는가?
• RQ3 원천 데이터가 이용 불가능할 경우 가짜 라벨에서 지배적인 노이즈 유형은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 Mosaic와 같은 데이터 증강 기법이 가짜 음성을 효과적으로 시뮬레이션하고 원천 데이터 프리 도메인 적응에서 검출 성능을 향상시킬 수 있는가?
• RQ5 기존 UDA 방법들이 원천 데이터를 얼마나 충분히 활용하고 있는가? 원천 데이터 프리 방법은 비교적 성능을 달성할 수 있는가?

주요 결과

• 제안된 SFOD 프레임워크는 원천 데이터에 접근하지 않음에도 불구하고 네 가지 대표적인 도메인 적응 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.
• SED를 사용해 신뢰도 임계값을 선택함으로써, Cityscapes에서 Foggy Cityscapes로의 적응 작업에서 기준값 22.3% 대비 최대 33.5% 향상된 mAP를 달성한다.
• SED와 Mosaic 증강을 결합하면 동일한 작업에서 mAP가 36.3%로 더욱 향상되어 가짜 음성 시뮬레이션의 효과성을 입증한다.
• BDD100k 적응 작업(Cityscapes에서 BDD100k로)에서 SFOD는 37.0%의 mAP를 달성하여 CR-DA-DET의 기준값 26.9%를 초월한다.
• 타겟 도메인 이미지의 안개 제거는 SFOD 성능을 약 3% 향상시키며, 이는 안개가 라벨 노이즈를 증가시키고 검출 품질을 떨어뜨린다는 것을 시사한다.
• 광범위한 추상화 분석 결과, 가짜 라벨에서의 주요 노이즈 원천은 가짜 음성임을 확인하였으며, Mosaic를 통한 가짜 음성 시뮬레이션 설계의 타당성을 검증한다.