[논문 리뷰] Towards Corruption-Agnostic Robust Domain Adaptation

Yifan Xu, Kekai Sheng외 4명|arXiv (Cornell University)|2021. 04. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 4

한 줄 요약

이 논문은 청소된 데이터에서 높은 정확도를 유지하면서도 예측할 수 없는 오염에 대해 강건한 도메인 적응 모델을 향상시키는 새로운 프레임워크인 오염 무관 강건 도메인 적응(CRDA)을 제안한다. 도메인 간 차이를 최대화하여 실제 오염을 모방하는 샘플을 생성하는 도메인 불일치 생성기(DDG)와, 훈련을 안정화하고 강건성을 향상시키기 위한 교사-학생 대비 학습 기반의 방법을 도입하여, 원본 정확도와 오염 강건성 모두에서 기존의 방법들을 능가한다.

ABSTRACT

Big progress has been achieved in domain adaptation in decades. Existing works are always based on an ideal assumption that testing target domain are i.i.d. with training target domains. However, due to unpredictable corruptions (e.g., noise and blur) in real data like web images, domain adaptation methods are increasingly required to be corruption robust on target domains. In this paper, we investigate a new task, Corruption-agnostic Robust Domain Adaptation (CRDA): to be accurate on original data and robust against unavailable-for-training corruptions on target domains. This task is non-trivial due to large domain discrepancy and unsupervised target domains. We observe that simple combinations of popular methods of domain adaptation and corruption robustness have sub-optimal CRDA results. We propose a new approach based on two technical insights into CRDA: 1) an easy-to-plug module called Domain Discrepancy Generator (DDG) that generates samples that enlarge domain discrepancy to mimic unpredictable corruptions; 2) a simple but effective teacher-student scheme with contrastive loss to enhance the constraints on target domains. Experiments verify that DDG keeps or even improves performance on original data and achieves better corruption robustness that baselines.

연구 동기 및 목표

• 청결한 데이터에서 우수한 성능를 보이지만 실제 세계의 오염 상황에서는 실패하는 도메인 적응 모델의 격차를 해소하기 위해.
• 원래 타겟 도메인에서 높은 정확도를 유지하면서도 예측 불가능한 새로운 오염에 대해 강건성을 확보하기 위한 방법을 개발하기 위해.
• 오염 특화 훈련 데이터가 필요 없이, 비지도 설정에서 도메인 불일치 적응과 오염 강건성을 통합하기 위해.
• 기존의 도메인 적응 및 오염 강건성 방법을 조합할 경우 도메인 불일치와 타겟 도메인에서의 약한 지도 신호로 인해 최적의 성능을 내지 못하는 한계를 극복하기 위해.

제안 방법

• 소스 도메인과 타겟 도메인 간 도메인 불일치를 최대화하여 실제 세계의 오염을 모방하는 합성 데이터 샘플을 생성하는 플러그인 모듈인 도메인 불일치 생성기(DDG)를 제안한다.
• 특징 공간 내 δ-사이클 경계의 이론적 분석에 기반하여, 기울기 기반 최적화 전략을 사용해 도메인 이동을 유도하는 샘플을 식별하고 생성한다.
• 청결한 타겟 도메인에서의 특징 일반화를 향상시키고 초기 훈련을 안정화하기 위해 대비 손실을 사용하는 교사-학생 웜업 전략을 도입한다.
• 이미지의 청결한 버전과 오염된 버전 간의 특징을 대비 학습을 통해 정렬하여, 오염 강도 수준에 관계없이 순서에 무관한 표현을 가능하게 한다.
• DDG가 생성한 샘플을 양성 쌍으로 사용하여, 사전 훈련된 교사 모델로부터 강건한 특징을 학습하는 학생 모델을 훈련시킨다.
• 라벨이 없는 오염된 데이터가 필요 없이, 비지도 도메인 적응 설정에서 종단 간(end-to-end)으로 방법을 적용한다.

Figure 1. Instances of corruption-agnostic robust domain adaptation (CRDA). To our surprise, existing domain adaptation method (CDAN+TN (Wang et al . , 2019 ) ) and corruption robust method (AugMix (Hendrycks et al . , 2020b ) ), even their combination, suffer from unseen corruptions on target domai

실험 결과

연구 질문

• RQ1 오염 특화 훈련 데이터에 접근할 수 없는 상황에서 도메인 적응 모델이 예측 불가능한 오염에 대해 강건하게 만들 수 있는가?
• RQ2 어떻게 도메인 불일치를 활용하여 실제 오염과 유사한 변형을 생성하고, 이를 통해 강건성을 향상시킬 수 있는가?
• RQ3 교사-학생 대비 학습 기반의 전략이 비지도 도메인 적응에서 라벨이 없는 타겟 도메인에 대해 강건성과 일반화 능력을 향상시키는가?
• RQ4 통합 프레임워크를 통해 청결한 데이터에서의 성능 향상과 다양한 오염에 대한 강건성 향상을 동시에 달성할 수 있는가?
• RQ5 도메인 적응에서 청결한 데이터 정확도와 오염에 대한 강건성 사이에 상충 관계가 존재하는가?

주요 결과

• 제안된 CRDA 방법은 청결한 데이터와 오염된 데이터 양쪽에서 최신 기술 수준의 성능을 달성하였으며, Office-Home 데이터셋의 Ar→Rw 설정에서 가장 심각한 대비 오염 상황에서 23.0%의 오류율을 기록하였다.
• DDG 모듈은 기존의 방법들에 비해 오염 강건성을 크게 향상시켰으며, 유리 흐림과 JPEG 압축과 같은 심각한 오염 상황에서 오류율을 최대 20%까지 감소시켰다.
• 교사-학생 웜업 전략은 원본 정확도와 강건성을 모두 향상시켰으며, 청결한 데이터에서 21.2%의 오류율과 대비 오염에서 23.0%의 오류율을 기록하여 데이터 증강 기반의 기준선을 능가하였다.
• 절단 실험 결과, DDG에서 업데이트 간격 η > 2δ로 설정할 경우, δ-사이클의 가장자리 점들에 집중함으로써 최고의 성능을 내었으며, 이는 이론적 통찰을 뒷받침한다.
• 모델은 순서에 무관한 표현을 학습한다: 단일 오염 강도 수준에서만 훈련된 경우에도 모든 강도 수준에서 잘 일반화되며, 일관된 특징 거리 경향을 보였다.
• DDG를 통해 원래의 도메인 적응 정확도를 유지하거나 향상시키면서도 강건성을 추가함으로써, 일반적으로 나타나는 정확도-강건성 상충 관계를 피할 수 있었다.

Figure 2. Examples of $15$ kinds of corruptions.