[논문 리뷰] ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation

Jiaming Liu, Senqiao Yang외 6명|arXiv (Cornell University)|2023. 06. 07.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

ViDA는 연속 테스트-타임 적응(CTTA)에서의 오류 누적과 망각을 해결하기 위해 Homeostatic Knowledge Allotment 전략을 갖춘 이중 랭크 Visual Domain Adapters를 도입하여, 분류 및 분할 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Since real-world machine systems are running in non-stationary environments, Continual Test-Time Adaptation (CTTA) task is proposed to adapt the pre-trained model to continually changing target domains. Recently, existing methods mainly focus on model-based adaptation, which aims to leverage a self-training manner to extract the target domain knowledge. However, pseudo labels can be noisy and the updated model parameters are unreliable under dynamic data distributions, leading to error accumulation and catastrophic forgetting in the continual adaptation process. To tackle these challenges and maintain the model plasticity, we design a Visual Domain Adapter (ViDA) for CTTA, explicitly handling both domain-specific and domain-shared knowledge. Specifically, we first comprehensively explore the different domain representations of the adapters with trainable high-rank or low-rank embedding spaces. Then we inject ViDAs into the pre-trained model, which leverages high-rank and low-rank features to adapt the current domain distribution and maintain the continual domain-shared knowledge, respectively. To exploit the low-rank and high-rank ViDAs more effectively, we further propose a Homeostatic Knowledge Allotment (HKA) strategy, which adaptively combines different knowledge from each ViDA. Extensive experiments conducted on four widely used benchmarks demonstrate that our proposed method achieves state-of-the-art performance in both classification and segmentation CTTA tasks. Note that, our method can be regarded as a novel transfer paradigm for large-scale models, delivering promising results in adaptation to continually changing distributions. Project page: https://sites.google.com/view/iclr2024-vida/home.

연구 동기 및 목표

• 연속적 테스트-타임 적응(CTTA)을 고무하고, 비정상적으로 변화하는 타깃 도메인 하에서의 오류 누적 및 재앙적 망각을 해소한다.
• 도메인 특화 지식과 도메인 공유 지식을 포착하기 위해 고랭크(high-rank) 및 저랭크(low-rank) 표현을 갖는 Visual Domain Adapters(ViDAs)를 제안한다.
• 불확실성에 기반하여 ViDAs의 정보를 동적으로 융합하는 Homeostatic Knowledge Allotment(HKA) 전략을 도입한다.
• 매개변수를 증가시키지 않으면서 사전 학습된 모델에 ViDAs를 재매개변수화하여 매개변수 효율적인 적응을 가능하게 한다.
• 분류 및 분할에 대해 여러 CTTA 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 사전 학습된 네트워크에 고랭크 및 저랭크 ViDAs를 주입하여 도메인 특화 지식과 도메인 공유 지식을 포착한다.
• 교사-학생 프레임워크와 일관성 손실을 사용하여 교사 모델의 의사 레이블(pseudo labels)을 통해 ViDAs를 업데이트한다.
• MC Dropout을 통해 각 샘플의 분포 변화(불확실성)를 정량화하기 위한 불확실성 점수를 계산한다.
• HKA를 통해 ViDA 출력과 원래 특징을 동적으로 융합하고, 불확실성에 따라 융합 가중치를 조정한다.
• 추론 시 추가 매개변수를 피하기 위해 재매개변수화를 통해 ViDAs를 백본으로 투사한다.
• 일관성 손실과 EMA로 업데이트된 교사 모델로 연속적 적응을 안내하며 최적화한다.

실험 결과

연구 질문

• RQ1 지속적으로 변화하는 타깃 도메인에서의 오류 누적 및 재앙적 망각을 완화하기 위해 CTTA를 어떻게 개선할 수 있는가?
• RQ2 이중 표현 ViDAs(고랭크 및 저랭크)가 도메인 특화 지식과 도메인 공유 지식을 효과적으로 포착할 수 있는가?
• RQ3 항온성 융합 전략이 CTTA에서 도메인 시프트 간 지식 통합을 개선하는가?
• RQ4 매개변수 효율적인 어댑터가 기초 및 대규모 모델의 지속적 적응을 가능하게 하면서 가소성을 희생하지 않는가?
• RQ5 ViDAs가 분류와 분할 CTTA 벤치마크 모두에서 성능을 향상시키고 보지 않은 도메인으로 일반화되는가?

주요 결과

• 저랭크 ViDAs는 도메인 공유 지식을 학습하고 도메인 간 발산을 감소시키며, 타깃 도메인 전반에서 강건성을 돕는다.
• 고랭크 ViDAs는 도메인 특화 지식에 집중하고 도메인 내에서의 오류 누적을 완화하는 데 도움을 준다.
• 제안된 HKA 전략은 불확실성 측정치를 기반으로 ViDAs를 동적으로 융합하여 적응 품질을 향상시킨다.
• ViDAs는 추론 시 추가 매개변수 없이 재매개변수화를 통해 임베딩될 수 있어 모델의 가소성을 보존한다.
• 실험은 분류 및 분할에 대해 네 가지 CTTA 벤치마크에서 최첨단 성능과 보지 않은 도메인으로의 일반화 향상을 보여준다.