[논문 리뷰] Gradual Domain Adaptation in the Wild:When Intermediate Distributions are Absent

Samira Abnar, Rianne van den Berg외 4명|arXiv (Cornell University)|2021. 06. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 4

한 줄 요약

이 논문은 특징 공간 내 소스 및 타겟 표현 간 선형 보간을 통해 가상의 샘플을 생성하여 중간 분포가 없는 상황에서 점진적 도메인 적응을 위한 GIFT 방법을 제안한다. 중간 분포가 존재하지 않을 경우 GIFT가 반복적 자기학습보다 뛰어난 성능을 보이며, 자연적인 분포 이탈이 발생하는 합성 및 실제 세계 벤치마크에서 유의미한 정확도 향상을 달성한다.

ABSTRACT

We focus on the problem of domain adaptation when the goal is shifting the model towards the target distribution, rather than learning domain invariant representations. It has been shown that under the following two assumptions: (a) access to samples from intermediate distributions, and (b) samples being annotated with the amount of change from the source distribution, self-training can be successfully applied on gradually shifted samples to adapt the model toward the target distribution. We hypothesize having (a) is enough to enable iterative self-training to slowly adapt the model to the target distribution, by making use of an implicit curriculum. In the case where (a) does not hold, we observe that iterative self-training falls short. We propose GIFT, a method that creates virtual samples from intermediate distributions by interpolating representations of examples from source and target domains. We evaluate an iterative-self-training method on datasets with natural distribution shifts, and show that when applied on top of other domain adaptation methods, it improves the performance of the model on the target dataset. We run an analysis on a synthetic dataset to show that in the presence of (a) iterative-self-training naturally forms a curriculum of samples. Furthermore, we show that when (a) does not hold, GIFT performs better than iterative self-training.

연구 동기 및 목표

• 소스와 타겟 사이의 중간 분포가 가용하지 않을 경우 도메인 적응의 과제를 해결하기 위해.
• 중간 분포가 존재할 경우 반복적 자기학습이 암묵적으로 교육과정을 형성할 수 있는지 조사하기 위해.
• 중간 데이터가 부재한 상황에서도 효과적인 점진적 적응을 가능하게 하는 방법을 제안하기 위해.
• 다양한 분포 이탈 조건 하에서 비지도 도메인 적응에서 교육과정 학습의 효과를 평가하기 위해.

제안 방법

• GIFT는 신경망의 특징 공간에서 소스 및 타겟 데이터 표현 간 선형 보간을 통해 가상의 중간 샘플을 생성한다.
• 학습 중에 보간 계수를 점차 증가시켜 소스에서 시작하여 타겟 분포로 이르는 교육과정을 시뮬레이션한다.
• 고정된 보간 스케줄을 사용하여 가상 예제의 난이도를 제어함으로써 소스에서 타겟으로의 부드러운 전이를 보장한다.
• 가상 샘플과 자기학습을 결합하여, 의사 레이블을 생성하고 반복적으로 모델을 미세조정한다.
• 이 방법은 합성 벤치마크와 자연적인 분포 이탈이 발생하는 실제 세계 데이터셋 모두에서 평가된다.
• 반복적 학습 중에는 신뢰도 기반 필터링을 적용하여 고품질의 의사라벨 예제를 선별한다.

실험 결과

연구 질문

• RQ1 중간 분포가 존재할 경우 반복적 자기학습이 암묵적으로 교육과정을 형성할 수 있는가?
• RQ2 중간 분포가 부재할 경우 반복적 자기학습의 도메인 적응 성능에 어떤 영향을 미치는가?
• RQ3 실제 중간 데이터가 없을 경우 특징 공간 보간을 통해 생성된 가상의 중간 샘플이 효과적으로 교육과정을 시뮬레이션할 수 있는가?
• RQ4 제한된 학습 반복 횟수 또는 낮은 타겟 도메인 다양성 조건 하에서 GIFT와 반복적 자기학습 간 성능 및 내성에 대한 비교는 어떻게 되는가?

주요 결과

• 중간 분포가 가용할 경우 반복적 자기학습은 암묵적인 교육과정을 형성하며, 소스 데이터로만 학습하는 것에 비해 두 달걀 데이터셋에서 약 40%의 성능 향상을 달성한다.
• 중간 분포가 부재할 경우 반복적 자기학습은 효과적으로 적응하지 못하며, 동일한 두 달걀 작업에서 최소한의 성능 향상에 그친다.
• 중간 데이터가 없는 두 달걀 데이터셋에서 GIFT는 성능을 약 20% 향상시켜 분포 갭을 메우는 데 효과적임을 입증한다.
• 통제된 이동이 있는 합성 CIFAR-10 벤치마크에서 GIFT는 반복적 자기학습을 일관되게 능가하며, 특히 학습 반복 횟수가 제한된 경우 두드러진다.
• 타겟 분포의 다양성이 떨어질 경우 GIFT는 반복적 자기학습보다 더 효과적이며, 가상 샘플을 통해 난이도의 균형 잡힌 진행을 보장하기 때문이다.
• GIFT와 반복적 자기학습 모두 타겟 분포의 점차 어려운 부분에 대해 증가하는 모델 신뢰도와 정확도를 통해 교육과정 유사 행동을 보인다.