[논문 리뷰] EcoTTA: Memory-Efficient Continual Test-time Adaptation via Self-distilled Regularization

Junha Song, Jungsoo Lee외 2명|arXiv (Cornell University)|2023. 03. 03.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

EcoTTA는 경량 메타 네트워크와 자기 정규화 정규화를 사용하여 기존 SOTA 방법인 CoTTA에 비해 활성화 메모리 사용을 80–86% 감소시키는 메모리 효율적인 지속적 테스트 시점 적응 방법을 제안한다. 지속적인 지각 상실과 오차 누적 문제를 방지하고, 고정된 원본 네트워크로부터 지식 정규화를 통해 성능 저하를 방지한다.

ABSTRACT

This paper presents a simple yet effective approach that improves continual test-time adaptation (TTA) in a memory-efficient manner. TTA may primarily be conducted on edge devices with limited memory, so reducing memory is crucial but has been overlooked in previous TTA studies. In addition, long-term adaptation often leads to catastrophic forgetting and error accumulation, which hinders applying TTA in real-world deployments. Our approach consists of two components to address these issues. First, we present lightweight meta networks that can adapt the frozen original networks to the target domain. This novel architecture minimizes memory consumption by decreasing the size of intermediate activations required for backpropagation. Second, our novel self-distilled regularization controls the output of the meta networks not to deviate significantly from the output of the frozen original networks, thereby preserving well-trained knowledge from the source domain. Without additional memory, this regularization prevents error accumulation and catastrophic forgetting, resulting in stable performance even in long-term test-time adaptation. We demonstrate that our simple yet effective strategy outperforms other state-of-the-art methods on various benchmarks for image classification and semantic segmentation tasks. Notably, our proposed method with ResNet-50 and WideResNet-40 takes 86% and 80% less memory than the recent state-of-the-art method, CoTTA.

연구 동기 및 목표

• 엣지 디바이스에서 백프로파게이션 과정에서 활성화 메모리가 지배적인 테스트 시점 적응(TTA)의 높은 메모리 소비 문제를 해결한다.
• 무 supervision 손실 최적화로 인해 원본 도메인에서 성능 저하와 오차 누적이 발생하는 장기적 지속적 TTA에서의 치명적 기억 상실과 오차 누적 문제를 해결한다.
• 원본 네트워크를 고정하고 경량 메타 네트워크만을 적응시켜 활성화 저장소를 줄이는 메모리 효율적인 아키텍처를 설계한다.
• 메타 네트워크 출력이 고정된 원본 네트워크의 출력과 유사하게 유지되도록 제약을 두는 자기 정규화 정규화 기법을 도입하여 원본 도메인 지식을 유지한다.
• 최소한의 메모리 오버헤드로 SOTA 성능을 달성하여 실세계의 지속적으로 변화하는 환경에서의 실용적 구현을 가능하게 한다.

제안 방법

• 고정된 사전 훈련된 백본 네트워크와 특정 스테이지에 연결된 경량 메타 네트워크(일반화된 배치 정규화(BN) 레이어 1개와 컨볼루션 블록 1개)로 구성된 이중 구조 아키텍처를 제안한다.
• 테스트 시점 적응 동안 메타 네트워크만 업데이트하여 메인 네트워크를 통한 백프로파게이션을 피하고 활성화 메모리 저장소를 극적으로 줄인다.
• 메타 네트워크 출력과 같은 레이어에서 고정된 원본 네트워크의 출력 간 L2 거리 최소화를 통해 자기 정규화 정규화를 구현한다.
• 표준 무 supervision 손실(예: 엔트로피 최소화)과 병행하여 정규화를 적용하며, 추가 메모리나 계산 자원이 필요하지 않다.
• 적응하는 레이어 수를 제어하는 모델 파artition 요소 K를 사용하여 성능와 메모리 사용 간 트레이드오프를 가능하게 한다.
• 무 supervision 적응 손실(예: 엔트로피 최소화)과 자기 정규화 정규화 손실을 조합하여 메타 네트워크를 훈련한다.

Figure 1 : (a) Memory cost comparison between TTA methods . The size of activations, not the parameters, is the primary memory bottleneck during training. (b) CIFAR-C adaptation performance. We perform the continual online adaptation on CIFAR-C dataset. The x- and y-axis are the average error of all

실험 결과

연구 질문

• RQ1 경량 메타 네트워크 아키텍처가 지속적 TTA에서 성능을 유지하면서도 메모리 소비를 크게 줄일 수 있는가?
• RQ2 자기 정규화 정규화 기법이 장기적 지속적 적응에서 치명적 기억 상실과 오차 누적을 효과적으로 방지하는가?
• RQ3 CoTTA와 같은 SOTA 방법과 비교해 EcoTTA는 지속적 TTA 벤치마크에서 메모리 효율성과 정확도 측면에서 어떻게 성과를 내는가?
• RQ4 제안된 방법이 실세계의 엣지 배포 환경에서 최소한의 메모리 오버헤드로 SOTA 성능을 달성할 수 있는가?
• RQ5 파artition 요소 K를 변화시켜 적응하는 레이어 수를 조절할 때 성능과 메모리 소비 간의 트레이드오프는 어떠한가?

주요 결과

• 동일한 지속적 TTA 설정에서 ResNet-50와 WideResNet-40에 대해 각각 CoTTA 대비 활성화 메모리 소비를 86%와 80% 감소시켰다.
• CIFAR-100-C의 세verity 5에서 EcoTTA(K=4)는 오직 80 MB 메모리로 평균 오차 36.4%를 기록했으며, CoTTA(38.1% 오차, 409 MB) 및 기타 SOTA 방법보다 정확도는 높고 메모리 사용은 훨씬 적게 사용했다.
• 자기 정규화 정규화 기법 덕분에 안정적인 장기적 적응이 가능해져 원본 도메인에서의 성능 저하를 방지하고 시간이 지남에 따라 오차 누적도 감소시켰다.
• 메타 네트워크당 하나의 BN과 하나의 컨볼루션 블록만을 사용해도 EcoTTA는 경쟁 가능한 성능를 달성했으며, 최소한의 파라미터 업데이트로도 상당한 성능 향상을 이끌 수 있음을 보여주었다.
• 정규화는 적응 손실과 병행하여 계산되므로 계산 오버헤드가 극히 미미하며, 추가 메모리가 필요하지 않다.
• CIFAR-C 벤치마크에서 다양한 오염 상황에 걸쳐도 EcoTTA는 강력한 일반화 능력을 유지하여 도메인 이동 상황에서도 지속적 적응에서의 강건성을 입증했다.

Figure 2 : Architecture for test-time adaptation. We illustrate TTA methods: TENT [ 65 ] , EATA [ 50 ] , CoTTA [ 66 ] , and Ours (EcoTTA). TENT and EATA update multiple batch norm layers, in which large activations have to be stored for gradient calculation. In CoTTA, an entire network is trained wi