[논문 리뷰] DEJA VU: Continual Model Generalization For Unseen Domains

Chenxi Liu, Lixu Wang외 4명|arXiv (Cornell University)|2023. 01. 25.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 '미지의 기간'(Adaptation이 시작되기 전) 동안 새로운 도메인에 대한 일반화 성능을 향상시키는 데 초점을 맞춘 RaTP라는 새로운 프레임워크를 제안한다. RandMix(학습이 필요 없는 데이터 증강), T2PL(Temporal Two-Stream Pseudo-Labeling) 기반의 시간적 허위 레이블링 메커니즘, 그리고 PCA(Prototype Contrastive Alignment) 손실을 통합함으로써, RaTP는 Digits, PACS, DomainNet 벤치마크에서 타겟 도메인 일반화(TDG), 타겟 도메인 적응(TDA), 그리고 망각 완화(FA)에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

In real-world applications, deep learning models often run in non-stationary environments where the target data distribution continually shifts over time. There have been numerous domain adaptation (DA) methods in both online and offline modes to improve cross-domain adaptation ability. However, these DA methods typically only provide good performance after a long period of adaptation, and perform poorly on new domains before and during adaptation - in what we call the "Unfamiliar Period", especially when domain shifts happen suddenly and significantly. On the other hand, domain generalization (DG) methods have been proposed to improve the model generalization ability on unadapted domains. However, existing DG works are ineffective for continually changing domains due to severe catastrophic forgetting of learned knowledge. To overcome these limitations of DA and DG in handling the Unfamiliar Period during continual domain shift, we propose RaTP, a framework that focuses on improving models' target domain generalization (TDG) capability, while also achieving effective target domain adaptation (TDA) capability right after training on certain domains and forgetting alleviation (FA) capability on past domains. RaTP includes a training-free data augmentation module to prepare data for TDG, a novel pseudo-labeling mechanism to provide reliable supervision for TDA, and a prototype contrastive alignment algorithm to align different domains for achieving TDG, TDA and FA. Extensive experiments on Digits, PACS, and DomainNet demonstrate that RaTP significantly outperforms state-of-the-art works from Continual DA, Source-Free DA, Test-Time/Online DA, Single DG, Multiple DG and Unified DA&DG in TDG, and achieves comparable TDA and FA capabilities.

연구 동기 및 목표

• 모델이 적응하기 전에 갑작스럽고 심각한 도메인 이동이 발생하는 '미지의 기간' 동안 성능이 떨어지는 문제를 해결하기 위해, 특히 감시 및 의료 영상과 같은 실생활 응용 분야에서의 중요성을 다룬다.
• 기존의 도메인 적응(DA) 및 도메인 일반화(DG) 방법은 소스 데이터 접근이 필요하거나 지속적인 도메인 이동 상황에서 치명적인 망각을 겪는 한계를 극복하기 위해 노력한다.
• 지속적인 학습 환경에서 동시에 강력한 타겟 도메인 일반화(TDG), 효과적인 타겟 도메인 적응(TDA), 그리고 망각 완화(FA)를 가능하게 하는 통합 프레임워크를 개발한다.
• 학습이 필요 없고 확장성이 뛰어나 소스 도메인 데이터나 광범위한 재학습이 필요 없는 솔루션을 설계하여 실시간 및 개인정보 보호가 중요한 응용 분야에 적합하다.

제안 방법

• 학습이 필요 없는 데이터 증강 모듈인 RandMix를 도입하여, 특징의 무작위 혼합을 통해 다양한 도메인 독립적인 샘플을 생성함으로써, 미지의 도메인으로의 일반화 성능을 향상시킨다.
• T2PL(Temporal Two-Stream Pseudo-Labeling)을 제안하여 현재 및 과거 모델 상태의 예측을 활용해 실시간 적응을 위한 신뢰할 수 있는 지도 신호를 생성하는 새로운 허위 레이블링 메커니즘을 설계한다.
• PCA(Prototype Contrastive Alignment)를 활용하여 대비 학습 기반으로 클래스 프로토타입을 도메인 간에 정렬함으로써, 도메인 불변 표현 학습을 향상시킨다.
• cross-entropy 손실, 로짓 디스틸레이션, 그리고 PCA 손실을 통합된 최적화 목표에 통합하여 TDG, TDA, FA를 동시에 최적화한다.
• T2PL에서 현재 모델과 모멘타리-평균화된 테이처 모델의 예측을 비교하는 이중 스트림 추론 기반 구조를 도입하여 허위 레이블 생성의 안정성을 높인다.
• 학습 중 소스 데이터가 필요 없고, 추론 시에만 타겟 도메인 데이터에 의존함으로써 소스 프리(source-free)이고 지속적인 적응이 가능한 구조를 실현한다.

실험 결과

연구 질문

• RQ1 모델이 충분한 타겟 데이터를 접하지 않은 상태인 '미지의 기간' 동안, 새로운 도메인에 대해 강력한 일반화 성능를 달성할 수 있는가?
• RQ2 새로운 도메인으로 적응하면서 이전에 본 도메인의 성능를 유지할 수 있는가? 지속적인 도메인 이동 상황에서 치명적인 망각을 완화할 수 있는가?
• RQ3 통합된 프레임워크가 동시에 높은 성능의 타겟 도메인 일반화(TDG), 타겟 도메인 적응(TDA), 망각 완화(FA)를 달성할 수 있는가?
• RQ4 지속적인 도메인 이동 학습에서 '미지의 기간' 동안 성능 향상에 가장 기여하는 구성 요소는 무엇인가?

주요 결과

• RaTP는 DomainNet 벤치마크에서 타겟 도메인 일반화(TDG)에 대해 평균 56.8%의 정확도를 기록하여, 이 설정에서 최신 기술(SOTA)을 크게 앞서는 성능을 달성한다.
• PACS 데이터셋에서 RaTP는 단일 도메인 일반화 설정에서 57.2%의 TDG 정확도를 달성하여 기존의 최신 기술(SOTA) 메서드를 초월한다.
• Digits에서 US→SD→SN→MM→MT 순서의 지속적인 도메인 이동 실험에서 RaTP는 평균 49.0%의 TDG 성능 유지를 기록하여, 다수의 도메인 이동 상황에서도 뛰어난 내구성을 입증한다.
• 제거 실험(ablation study) 결과, RandMix, T2PL, PCA를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 각 구성 요소의 효과성을 검증한다.
• 지속적인 DA, 소스 프리 DA, 테스트 시점 DA 설정에서 RaTP는 최신 기술(SOTA) 메서드와 비교해 유사하거나 뛰어난 TDA 및 FA 성능을 기록한다.
• RaTP는 DomainNet에서 평균 56.8%의 TDG 점수를 기록하여 이전 최신 기술(SOTA)보다 6퍼센트 이상 높이며, 동일 벤치마크에서 평균 53.7%의 망각 정확도를 유지하여 강력한 FA 성능도 확보한다.