[논문 리뷰] ConDA: Continual Unsupervised Domain Adaptation

Abu Md Niamul Taufique, Chowdhury Sadman Jahan외 1명|arXiv (Cornell University)|2021. 03. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 12

한 줄 요약

이 논문은 선택적 리플레이 버퍼와 믹스업 증강을 사용하여 스트리밍 타겟 데이터 배치에 대해 모델을 점진적으로 적응시키는 새로운 소스-프리 지속적 비지도 도메인 적응 프레임워크인 ConDA를 제안한다. ConDA는 전체 타겟 도메인에 대한 액세스가 필요한 많은 최첨단 방법들을 능가하며, 버퍼링된 샘플을 선택적으로 재학습함으로써 데이터 저장 요구량을 크게 줄이고도 뛰어난 정확도를 달성한다.

ABSTRACT

Domain Adaptation (DA) techniques are important for overcoming the domain shift between the source domain used for training and the target domain where testing takes place. However, current DA methods assume that the entire target domain is available during adaptation, which may not hold in practice. This paper considers a more realistic scenario, where target data become available in smaller batches and adaptation on the entire target domain is not feasible. In our work, we introduce a new, data-constrained DA paradigm where unlabeled target samples are received in batches and adaptation is performed continually. We propose a novel source-free method for continual unsupervised domain adaptation that utilizes a buffer for selective replay of previously seen samples. In our continual DA framework, we selectively mix samples from incoming batches with data stored in a buffer using buffer management strategies and use the combination to incrementally update our model. We evaluate the classification performance of the continual DA approach with state-of-the-art DA methods based on the entire target domain. Our results on three popular DA datasets demonstrate that our method outperforms many existing state-of-the-art DA methods with access to the entire target domain during adaptation.

연구 동기 및 목표

• 적응 과정에서 타겟 도메인에 대한 전체 액세스를 전제로 하는 기존 도메인 적응 방법의 실용적 한계를 해결하기 위해.
• 라벨이 없는 타겟 샘플이 시간이 지남에 따라 소규모이고 순차적인 배치로 도착하는 지속적 도메인 적응 프레임워크를 개발하기 위해.
• 학습 후 소스 데이터나 타겟 데이터를 모두 저장할 필요 없이, 적응 과정에서의 데이터 저장 요구량을 줄이기 위해.
• 선택적 리플레이와 적응형 손실 함수를 통해 자원이 제한된 스트리밍 타겟 환경에서의 모델 일반화 성능을 향상시키기 위해.
• 제한된 데이터 액세스 조건에서의 지속적 적응이 전체 타겟 도메인 액세스를 가진 표준 도메인 적응 방법의 성능을 뛰어넘을 수 있음을 보여주기 위해.

제안 방법

• ConDA는 예측 레이블이 부여된 이전에 처리된 타겟 샘플을 선택적으로 저장하고 재사용하는 버퍼를 사용한다.
• 들어오는 타겟 배치에 대해 데이터 증강을 위해 샘플 믹스업 기법을 사용하여 특징 일반화를 향상시킨다.
• 지속적 적응 과정에서의 클래스 표현 균형과 치명적 잊기 방지를 위해 새로운 등가 다양성 손실을 도입한다.
• 소스 데이터를 사용하지 않고, 들어오는 타겟 배치와 버퍼링된 샘플에만 의존하는 소스-프리 적응 전략을 사용한다.
• 모델 성능을 유지하기 위해 다양한 대표 샘플을 우선순위로 보존하는 버퍼 관리 전략을 적용한다.
• 교차 엔트로피, 엔트로피 최소화, 그리고 제안된 등가 다양성 손실의 조합을 사용하여 모델을 점진적으로 미세조정한다.

실험 결과

연구 질문

• RQ1 지속적 도메인 적응 프레임워크가 한 번에 전체 타겟 도메인을 사용하는 표준 도메인 적응 방법을 능가할 수 있는가?
• RQ2 스트리밍이고 자원이 제한된 환경에서 이전에 본 타겟 샘플의 선택적 리플레이는 모델 성능에 어떤 영향을 미치는가?
• RQ3 믹스업을 통한 데이터 증강이 지속적 비지도 도메인 적응에서 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ4 버퍼 크기와 배치 크기가 지속적 도메인 적응 모델의 성능에 어떤 영향을 미치는가?
• RQ5 학습 중 소스 데이터에 액세스할 수 없는 소스-프리 접근 방식이 전체 타겟 도메인 액세스를 가진 최첨단 방법의 성능을 유지하거나 능가할 수 있는가?

주요 결과

• Office-31에서 연속적 배치 크기 62와 버퍼 크기 124 조건에서 ConDA는 표준 SHOT 방법보다 1.8% 높은 성능을 기록했다.
• Office-Home 데이터셋에서 ConDA는 강력한 최첨단 방법인 HDMI보다 평균 정확도에서 7% 이상 높으며, 모든 도메인 쌍에서 새로운 최첨단 성능을 수립했다.
• VisDA-C에서 ConDA는 기준 SHOT보다 평균 클래스 정확도에서 1.5% 이상 높은 성능을 기록했고, 도전적인 '트럭' 클래스에서 최고 성능을 달성했다.
• 제거 실험 결과, 믹스업, 엔트로피 손실, 등가 다양성 손실의 조합은 버퍼 없이 HR-SHOT보다 성능을 1.8% 향상시켰다.
• 배치 크기를 64에서 256으로 늘리면 ConDA의 성능이 5.6% 향상되었고, 버퍼 크기를 클래스당 0에서 8로 늘리면 정확도가 0.7% 향상되었다.
• ConDA는 어느 순간에도 타겟 데이터의 일부만 액세스함에도 불구하고, Office-31, Office-Home, VisDA-C 세 가지 벤치마크 데이터셋에서 모두 최첨단 성능을 달성했다.