[논문 리뷰] Back to the Source: Diffusion-Driven Test-Time Adaptation

Jin Gao, Jialing Zhang외 4명|arXiv (Cornell University)|2022. 07. 07.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 테스트 시간 입력 적응 방법인 Diffusion-Driven Adaptation (DDA)를 제안한다. DDA는 사전 훈련된 확산 모델을 사용해 손상된 테스트 이미지를 원본 도메인으로 다시 투영함으로써 분류기 업데이트 없이도 강건성을 확보한다. DDA는 다양한 오염 유형, 모델, 데이터 제약 조건에서 ImageNet-C에서 최고 성능을 기록하며, 특히 모델 적응이 실패하는 소규모, 순서가 있는, 또는 혼합된 데이터 배치에서 뛰어난 성능을 보인다.

ABSTRACT

Test-time adaptation harnesses test inputs to improve the accuracy of a model trained on source data when tested on shifted target data. Existing methods update the source model by (re-)training on each target domain. While effective, re-training is sensitive to the amount and order of the data and the hyperparameters for optimization. We instead update the target data, by projecting all test inputs toward the source domain with a generative diffusion model. Our diffusion-driven adaptation method, DDA, shares its models for classification and generation across all domains. Both models are trained on the source domain, then fixed during testing. We augment diffusion with image guidance and self-ensembling to automatically decide how much to adapt. Input adaptation by DDA is more robust than prior model adaptation approaches across a variety of corruptions, architectures, and data regimes on the ImageNet-C benchmark. With its input-wise updates, DDA succeeds where model adaptation degrades on too little data in small batches, dependent data in non-uniform order, or mixed data with multiple corruptions.

연구 동기 및 목표

• 테스트 시간 모델 적응의 한계를 해결한다. 이는 데이터 양, 순서, 오염 혼합에 민감하다.
• 원본 없이 적응할 때 각 타겟 도메인에 대해 모델을 재훈련하는 데 따른 확장성과 계산 비용 문제를 해결한다.
• 추론 중 모델가 아닌 입력을 적응시켜 분포 이탈 상황에서도 강건한 일반화를 가능하게 한다.
• 고정된 원본 모델을 유지하면서도 여러 타겟 도메인에 적응 가능한 모델 독립적이고 확장 가능한 방법을 개발한다.
• 확산 모델링과 자체 앙상블을 활용한 통합 생성 기반 입력 적응 프레임워크를 통해 이미지 오염에 대한 강건성을 향상시킨다.

제안 방법

• 원본 데이터 전용으로 확산 모델을 훈련하여 데이터 다양체를 학습한 후, 모든 테스트 시간 적응에 대해 고정한다.
• 반복적인 이미지 가이던스를 사용해 역확산 과정을 실행하여 각 테스트 입력을 원본 도메인 쪽으로 투영한다.
• 분류기 자체 앙상블을 사용해 각 입력에 대해 최적의 적응 수준을 동적으로 결정한다.
• 추론 중에 분류기를 업데이트하지 않고도, 노이즈 제거된 적응된 입력에 대해 원본 분류기를 적용한다.
• 적응 과정을 안정화하기 위해 정방향 노이즈 추가 및 역방향 노이즈 제거 단계를 통합한다.
• 역샘플링 중 이미지 가이던스를 활용해 의미적 콘텐츠를 유지하면서 도메인 차이를 줄인다.

실험 결과

연구 질문

• RQ1 어떤 어려운 데이터 제약 조건에서도 확산 모델링을 통한 입력 수준의 적응이 모델 수준의 적응을 능가할 수 있는가?
• RQ2 모델 적응이 일반적으로 성능이 저하되는 소규모, 순서가 있는, 또는 혼합 오염 상황에서 DDA는 ImageNet-C에서 어떻게 성능을 내는가?
• RQ3 노이즈 제거 정도를 제어함으로써 자체 앙상블이 얼마나 적응 강건성을 향상시키는가?
• RQ4 재훈련 없이도 단일 원본 훈련된 확산 모델이 여러 타겟 도메인에 일반화 가능한가?
• RQ5 정방향, 역방향, 정제 단계 중 각각의 기여도는 DDA의 전체 강건성에 얼마나 기여하는가?

주요 결과

• 블러 오염 조건에서 Swin-T 기반 모델로 ImageNet-C에서 DDA는 상위 1위 정확도 41.2%를 기록했으며, 동일 조건에서 MEMO(38.9%)와 Tent(35.1%)를 능가했다.
• 샷 노이즈 오염 조건에서 ConvNeXt-T로 DDA는 57.3%의 정확도를 달성했으며, DiffPure(48.7%)와 MEMO(53.2%)를 크게 앞서갔다.
• 소규모 배치(예: 1~4개 샘플) 조건에서도 DDA는 Tent가 노이즈가 많은 업데이트로 인해 성능이 저하되는 것과는 달리 높은 강건성을 유지하여 저자원 환경에서도 안정성을 입증했다.
• 순서가 있는 오염이나 혼합 오염 조건에서도 DDA는 순차적 또는 상충되는 분포 이탈로 인해 일반적으로 실패하는 모델 적응과는 달리 성공적으로 대응했다.
• 절단 분석 결과, 정방향, 역방향, 정제 단계를 모두 조합할 경우 최고의 성능를 기록했으며, 단순히 역방향 + 가이던스만으로는 성능이 열등했다.
• DDA는 모델 독립적이며, 재튜닝 없이도 ResNet-50, Swin-T, ConvNeXt-T 등 다양한 모델에서 강건성을 향상시켜 광범위한 적용 가능성을 확인했다.