[논문 리뷰] Unsupervised Domain Adaptation in the Absence of Source Data

Roshni Sahoo, Divya Shanmugam외 1명|arXiv (Cornell University)|2020. 07. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 9

한 줄 요약

이 논문은 사전 훈련된 소스 분류기와 라벨이 없는 타겟 이미지만을 사용하여 소스 데이터에 접근할 수 없는 상황에서 타겟 도메인에 맞추기 위한 비지도 도메인 적응 방법을 제안한다. 밝기/대trast 조정 등의 역가능한 변환(예: 밝기/대비 조정)을 학습하여 타겟 이미지를 소스 분포 쪽으로 매핑함으로써, 특히 라벨이 적은 타겟 데이터에서 파인튜닝보다 뛰어난 정확도를 달성한다.

ABSTRACT

Current unsupervised domain adaptation methods can address many types of distribution shift, but they assume data from the source domain is freely available. As the use of pre-trained models becomes more prevalent, it is reasonable to assume that source data is unavailable. We propose an unsupervised method for adapting a source classifier to a target domain that varies from the source domain along natural axes, such as brightness and contrast. Our method only requires access to unlabeled target instances and the source classifier. We validate our method in scenarios where the distribution shift involves brightness, contrast, and rotation and show that it outperforms fine-tuning baselines in scenarios with limited labeled data.

연구 동기 및 목표

• 사전 훈련된 모델이 일반적인 상황에서 소스 데이터에 접근할 수 없을 때 기계 학습에서 발생하는 도메인 이탈 문제를 해결하기 위해.
• 라벨이 없는 타겟 데이터와 분류기의 예측 결과만을 사용하여 소스 분류기를 타겟 도메인에 적응시키는 방법을 개발하기 위해.
• 밝기, 대비, 회전 변형과 같은 자연스러운 분포 이탈에 대해 모델의 강건성을 향상시키기 위해.
• 라벨이 부족한 상황에서 타겟 예제가 적을 때 파인튜닝 기반 모델을 능가하기 위해.

제안 방법

• 이 방법은 타겟 이미지를 소스 도메인 쪽으로 매핑하는 가변 가능한 전방 변환(예: 밝기, 대비 조정)의 매개변수를 예측하는 변환 네트워크를 훈련한다.
• 소스 분류기의 소프트맥스 확률을 지도 신호로 사용하여, 변환 후에 높은 최대 클래스 확률을 얻도록 최적화한다.
• 라벨이 없는 타겟 이미지 위에서 끝내기로 훈련되며, 변환된 이미지가 소스 모델에 의해 확신 있게 분류되도록 유도하는 손실 함수를 사용한다.
• 이 방법은 전방 변환(예: 밝기 이동)이 역가능하고, 추론 시에 역변환을 적용할 수 있음을 가정한다.
• 내부 분포에 속하는 예시(소스에 가까운)는 외부 분포에 속하는 것보다 일반적으로 더 높은 최대 소프트맥스 확률을 가진다는 사실을 활용한다.
• 최종 추론 시에는 학습된 변환을 각 타겟 이미지에 적용하고, 원래의 소스 분류기를 사용하여 분류한다.

실험 결과

연구 질문

• RQ1 소스 데이터에 접근할 수 없고 사전 훈련된 분류기와 라벨이 없는 타겟 데이터만을 사용할 때 모델이 도메인 이탈에 적응할 수 있는가?
• RQ2 소프트맥스 신뢰도를 통한 변환 학습이 이격된 타겟 도메인에서 성능을 회복하는 데 얼마나 효과적인가?
• RQ3 라벨이 부족한 상황에서 제안된 방법이 파인튜닝을 능가하는가?
• RQ4 밝기 및 대비와 같은 자연스러운 축을 따라 이격 범위와 심각도가 증가할수록 성능은 어떻게 변하는가?

주요 결과

• 라벨이 4,000개 미만인 타겟 예제가 있을 경우, 제안된 방법은 마지막 레이어 파인튜닝보다 성능이 뛰어나다.
• 라벨이 1,000개 미만인 타겟 예제가 있을 경우, 전체 네트워크 파인튜닝보다 성능이 뛰어나다.
• μ ≤ 1.0인 밝기 이격에 대해, 방법은 오라클 모델에 가까운 정확도를 회복한다; μ > 1.0(과노출)일 경우, 이격이 복원 불가능하여 성능이 저하된다.
• 이격 범위가 증가할수록(σ가 높아질수록), 방법의 정확도는 소스 분류기보다 점진적으로 감소한다. 특히 밝기 이격의 경우 뚜렷하다.
• 대비 이격의 경우, 방법과 소스 분류기 모두 이격 범위가 증가함에 따라 유사한 속도로 성능이 저하된다.
• 이 방법은 경미한 이격에서 심각한 이격에 이르기까지 강력한 성능을 유지하며, 소스 데이터나 타겟 라벨을 요구하지 않음에도 불구하고 자연스러운 도메인 이격에 강건함을 보여준다.