[논문 리뷰] Unsupervised BatchNorm Adaptation (UBNA): A Domain Adaptation Method for Semantic Segmentation Without Using Source Domain Representations

Marvin Klingner, Jan-Aike Termöhlen외 2명|arXiv (Cornell University)|2020. 11. 17.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 비지도 배치 정규화 적응(UBNA)을 제안하며, 소스 도메인 데이터나 표현을 사용하지 않고도 사전 훈련된 모델을 타겟 도메인에 적응시키는 새로운 도메인 적응 방법이다. 오직 사전 훈련된 모델의 파라미터만을 사용하며, 지수 감쇠 모멘텀을 통해 소스 및 타겟 도메인 배치 정규화 통계를 융합함으로써, 제로샷 및 희소샷 설정에서 최신 기술 수준의 성능을 달성하며, 미사용 타겟 도메인에서 mIoU를 최대 7.3% 향상시킨다.

ABSTRACT

In this paper we present a solution to the task of "unsupervised domain adaptation (UDA) of a given pre-trained semantic segmentation model without relying on any source domain representations". Previous UDA approaches for semantic segmentation either employed simultaneous training of the model in the source and target domains, or they relied on an additional network, replaying source domain knowledge to the model during adaptation. In contrast, we present our novel Unsupervised BatchNorm Adaptation (UBNA) method, which adapts a given pre-trained model to an unseen target domain without using -- beyond the existing model parameters from pre-training -- any source domain representations (neither data, nor networks) and which can also be applied in an online setting or using just a few unlabeled images from the target domain in a few-shot manner. Specifically, we partially adapt the normalization layer statistics to the target domain using an exponentially decaying momentum factor, thereby mixing the statistics from both domains. By evaluation on standard UDA benchmarks for semantic segmentation we show that this is superior to a model without adaptation and to baseline approaches using statistics from the target domain only. Compared to standard UDA approaches we report a trade-off between performance and usage of source domain representations.

연구 동기 및 목표

• 개인정보나 액세스 제약으로 인해 소스 도메인 데이터를 확보할 수 없는 상황에서 사전 훈련된 의미적 세그멘테이션 모델을 새로운 타겟 도메인에 적응시키는 도전 과제를 해결한다.
• 데이터, 레이블, 보조 네트워크를 포함한 소스 도메인 표현에 의존하지 않는 방법을 개발한다.
• 사전 훈련된 모델을 타겟 도메인에 적응시키는 온라인 및 희소샷 적응을 실생활 배포 환경에서 가능하게 한다.
• 다양한 아키텍처와 도메인 이탈 시나리오(예: 합성에서 실세계, 실세계에서 실세계)에 일반화 가능하도록 보장한다.
• 배치 정규화 통계 융합을 통해 소스 지식을 유지하면서 타겟 도메인 통계에 적응하는 즉시 사용 가능한 솔루션을 제공한다.

제안 방법

• 사전 훈련된 소스 통계와 라벨이 없는 타겟 데이터에서 계산된 러닝 통계를 융합하여 배치 정규화(BN) 레이어 통계를 타겟 도메인에 적응시키는 UBNA를 제안한다.
• 소스 및 타겟 도메인 통계를 지수 감쇠 모멘텀 요소로 융합하여 일부 소스 지식을 유지하면서도 타겟 도메인 분포에 적응한다.
• 사전 훈련 후 데이터에 독립적인 방식으로 적응 과정을 수행함으로써, 추론 또는 적응 중 소스 데이터에 의존하지 않는다.
• UBNA+라는 변형을 도입하여 모멘텀 감쇠에 계층별 가중치를 적용함으로써, 더 분류 능력이 높은 초기 레이어에 집중된 적응을 가능하게 하여 성능 향상을 이룬다.
• 소규모 라벨이 없는 타겟 이미지 배치를 점진적으로 업데이트하여, 온라인 및 희소샷 적응을 가능하게 한다.
• 적응 중에 다른 모든 모델 파라미터를 그대로 유지함으로써 최소한의 계산 오버헤드와 기존 모델과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 소스 도메인 데이터나 표현에 접근할 수 없는 상황에서 사전 훈련된 의미적 세그멘테이션 모델이 새로운 타겟 도메인에 효과적으로 적응될 수 있는가?
• RQ2 지수 감쇠 모멘텀을 통해 소스 및 타겟 도메인 배치 정규화 통계를 융합할 경우, 단지 타겟 통계를 사용하는 것과 비교해 적응 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 합성에서 실세계, 실세계에서 실세계 설정을 포함한 다양한 네트워크 아키텍처와 도메인 이탈 시나리오에 일반화 가능한가?
• RQ4 UBNA는 얼마나 적은 타겟 데이터로도 온라인 또는 희소샷 학습 환경에서 적용 가능한가?
• RQ5 UBNA+에서의 계층별 가중치 적용은 다양한 데이터셋과 아키텍처에서 표준 UBNA에 비해 일관된 성능 향상을 제공하는가?

주요 결과

• UBNA는 소스 도메인 표현을 전혀 사용하지 않아도, GTA-5에서 Cityscapes로의 이행 시 mIoU를 5.0% 향상시키며, SYNTHIA에서 Cityscapes로의 이행 시 4.6%에서 5.8%까지 향상시키고, Cityscapes에서 KITTI로의 이행 시 최대 7.3% 향상시킨다.
• ResNet-34를 사용한 최고 성능 모델은 KITTI 테스트 세트에서 60.3%의 mIoU를 기록하여, 적응되지 않은 베이스라인의 54.7%보다 뚜렷이 뛰어나다.
• UBNA+는 모든 아키텍처와 데이터셋에서 표준 UBNA를 일관되게 능가하며, 특히 실세계에서 실세계 설정에서 가장 큰 성능 향상을 기록한다.
• 동일한 초모수를 사용하여 6종의 다른 네트워크 아키텍처(VGG 및 ResNet 변종)에 대해 일반화 가능함을 입증하며 강력한 전이 능력을 보였다.
• 순차적 적응 실험 결과, UBNA는 뒤집을 수 있으며, 새로운 도메인으로 적응할 경우 원래 도메인 성능이 단지 3% 감소하고 다시 적응하면 복구됨을 확인했다.
• 희소샷 및 온라인 설정 모두에서 효과적이며, 적응 중에 사용되지 않은 보류 테스트 세트에서도 성능 향상 결과가 재현 가능하다.