[논문 리뷰] Source Free Domain Adaptation with Image Translation

Yunzhong Hou, Liang Zheng|arXiv (Cornell University)|2020. 08. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 29

한 줄 요약

이 논문은 사전에 훈련된 분류기의 배치 정규화 통계를 사용하여 타겟 도메인 이미지를 볼 수 없는 소스 도메인의 스타일로 변환하는 소스 없는 도메인 적응 방법을 제안한다. 생성된 이미지의 배치 기반 특징 통계를 소스 모델의 배치 정규화 레이어의 통계에 맞추어, 소스 이미지나 레이블에 접근하지 않으면서도 레이블이 없는 타겟 데이터에 대한 분류 정확도를 향상시킨다. 이 방법은 여러 데이터셋에서 일관되고 통계적으로 유의미한 성능 향상을 달성한다.

ABSTRACT

Effort in releasing large-scale datasets may be compromised by privacy and intellectual property considerations. A feasible alternative is to release pre-trained models instead. While these models are strong on their original task (source domain), their performance might degrade significantly when deployed directly in a new environment (target domain), which might not contain labels for training under realistic settings. Domain adaptation (DA) is a known solution to the domain gap problem, but usually requires labeled source data. In this paper, we study the problem of source free domain adaptation (SFDA), whose distinctive feature is that the source domain only provides a pre-trained model, but no source data. Being source free adds significant challenges to DA, especially when considering that the target dataset is unlabeled. To solve the SFDA problem, we propose an image translation approach that transfers the style of target images to that of unseen source images. To this end, we align the batch-wise feature statistics of generated images to that stored in batch normalization layers of the pre-trained model. Compared with directly classifying target images, higher accuracy is obtained with these style transferred images using the pre-trained model. On several image classification datasets, we show that the above-mentioned improvements are consistent and statistically significant.

연구 동기 및 목표

• 개인정보나 지적재산권 문제로 인해 소스 데이터가 제공되지 않는 실세계 적용 환경에서 도메인 이동 문제를 해결한다.
• 소스 이미지나 레이블에 접근할 수 없음에도 불구하고 사전 훈련된 모델을 레이블이 없는 타겟 도메인에 효과적으로 적응시킬 수 있도록 한다.
• 사전 훈련된 소스 분류기만을 활용하여 타겟 이미지에 소스 도메인 스타일을 전이함으로써 일반화 성능을 향상시키는 방법을 개발한다.
• 기존 SFDA 방법이 허위 레이블링이나 분류기의 배치 정규화 통계를 수정하는 데 의존하는 한계를 극복한다.

제안 방법

• 생성적 이미지 번역 네트워크를 사용하여 타겟 도메인 이미지를 볼 수 없는 소스 도메인의 스타일로 변환한다.
• 생성된 이미지의 배치 기반 특징 통계를 사전 훈련된 소스 분류기의 배치 정규화(BN) 레이어에 저장된 누적 통계와 일치시킨다.
• 생성자 모델을 훈련하기 위해 세 가지 손실 요소를 사용한다: 정체성 유지에 기여하는 콘텐츠 손실, BN 통계 일치를 위한 스타일 손실, 고신뢰도 예측을 장려하는 엔트로피 손실.
• 테스트 시점에 스타일 전이된 이미지를 사전 훈련된 소스 분류기에 입력하여 인식 정확도를 향상시킨다.
• 훈련 중에 입력 타겟 이미지의 재구성 조건을 강제하여 콘텐츠 일관성을 확보한다.
• 소스 분류기를 수정하지 않으며, 원래 지식을 유지하면서 전처리를 통한 추론 적응을 실현한다.

실험 결과

연구 질문

• RQ1 소스 데이터에 접근할 수 없음에도 불구하고 사전 훈련된 모델을 레이블이 없는 타겟 도메인에 효과적으로 적응시킬 수 있는가?
• RQ2 소스 이미지가 없을 경우, 사전 훈련된 모델의 배치 정규화 통계가 소스 도메인 스타일의 대체 지표로 기능할 수 있는가?
• RQ3 직접 추론을 수행하는 것과 비교해 소스 스타일로 이미지 번역을 수행하면 타겟 도메인에서의 분류 정확도가 향상되는가?
• RQ4 손실 함수의 다양한 구성 요소가 제안된 방법의 성능에 어떤 기여를 하는가?
• RQ5 제안된 방법을 허위 레이블링과 조합하여 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 SVHN→MNIST 및 VisDA-2017를 포함한 여러 데이터셋에서 직접 추론 대비 일관되고 통계적으로 유의미한 성능 향상을 달성한다.
• 제거 실험 결과, 스타일 손실을 제거하면 성능이 -0.4% 감소하고, 엔트로피 손실을 제거하면 -0.3% 감소하며, 둘 다 통계적으로 유의미하다(p<0.05).
• 허위 레이블 토닝 및 AdaBN과 같은 기준 SFDA 방법보다 성능이 뛰어나며, 특히 미세조정과 조합했을 때 두드러진 성능 향상을 보인다.
• 허위 레이블링과 조합했을 경우, 레이블이 있는 소스 데이터가 필요한 특징 수준의 도메인 적응 방법인 MMD 및 DANN과 유사한 성능을 달성한다.
• 이 방법은 사전 훈련된 분류기를 수정할 필요가 없어, 배포용으로 출시된 모델에 적합하다.
• 콘텐츠 일관성 손실은 필수적이다. 이 손실이 없을 경우 생성된 이미지의 정체성이 손실되어 방법이 의미를 잃게 된다.