[논문 리뷰] One Pool Is Not Enough: Multi-Cluster Memory for Practical Test-Time Adaptation

Yu-Wen Tseng, Xingyi Zheng외 5명|arXiv (Cornell University)|2026. 03. 22.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

실용 TTA를 위한 다중 디스크립터 기반 클러스터로 기억을 여러 클러스터로 조직하는 Multi-Cluster Memory (MCM)를 제안하고, 기존 메모리 기반 방법과의 통합 시 여러 데이터셋에서 일관된 이득을 얻는다.

ABSTRACT

Test-time adaptation (TTA) adapts pre-trained models to distribution shifts at inference using only unlabeled test data. Under the Practical TTA (PTTA) setting, where test streams are temporally correlated and non-i.i.d., memory has become an indispensable component for stable adaptation, yet existing methods universally store amples in a single unstructured pool. We show that this single-cluster design is fundamentally mismatched to PTTA: a stream clusterability analysis reveals that test streams are inherently multi-modal, with the optimal number of mixture components consistently far exceeding one. To close this structural gap, we propose Multi-Cluster Memory (MCM), a plug-and-play framework that organizes stored samples into multiple clusters using lightweight pixel-level statistical descriptors. MCM introduces three complementary mechanisms: descriptor-based cluster assignment to capture distinct distributional modes, Adjacent Cluster Consolidation (ACC) to bound memory usage by merging the most similar temporally adjacent clusters, and Uniform Cluster Retrieval (UCR) to ensure balanced supervision across all modes during adaptation. Integrated with three contemporary TTA methods on CIFAR-10-C, CIFAR-100-C, ImageNet-C, and DomainNet, MCM achieves consistent improvements across all 12 configurations, with gains up to 5.00% on ImageNet-C and 12.13% on DomainNet. Notably, these gains scale with distributional complexity: larger label spaces with greater multi-modality benefit most from multi-cluster organization. GMM-based memory diagnostics further confirm that MCM maintains near-optimal distributional balance, entropy, and mode coverage, whereas single-cluster memory exhibits persistent imbalance and progressive mode loss. These results establish memory organization as a key design axis for practical test-time adaptation.

연구 동기 및 목표

• PTTA 스트림은 본질적으로 다모달이고 단일 클러스터 기억이 충분하지 않다.
• 새로운 Multi-Cluster Memory (MCM)를 도입하여 디스크립터 기반 클러스터링, ACC, 및 UCR을 활용.
• MCM이 PTTA 하에서 여러 베이스라인과 데이터셋에서 적응 정확도를 향상시킨다.
• 메모리 품질과 모드 커버리지를 정량화하는 진단을 제공한다.
• 메모리 구성이 실용적 TTA의 핵심 설계 축임을 강조한다.

제안 방법

• 메모리를 각 클러스터 용량이 있는 다중 클러스터로 설명.
• 클러스터링의 디스크립터로 픽셀 수준 채널별 통계를 사용.
• 메모리가 가득 차면 유사한 이웃 클러스터를 합치기 위해 Adjacent Cluster Consolidation (ACC)을 도입.
• 적응 중 모든 클러스터에서 동등한 샘플을 뽑도록 Uniform Cluster Retrieval (UCR)을 도입.
• RoTTA, PeTTA, ResiTTA와 MCM을 통합하여 CIFAR-10-C, CIFAR-100-C, ImageNet-C, DomainNet에서 평가.
• 메모리 균형, 엔트로피, 모드 커버리지를 평가하는 GMM 기반 진단 프레임워크 제공.

Figure 1 : Motivation for multi-cluster memory. (a) Stream clusterability analysis on CIFAR-100-C (PTTA): we fit GMMs with varying $K$ to sliding windows of the test stream and select the optimal $K^{*}$ via BIC across three descriptor types. The consistently high $K^{*}$ values ( $\mu_{K^{*}}$ = 5.

실험 결과

연구 질문

• RQ1 PTTA 데이터 스트림은 본질적으로 다모달이며 단일 메모리 클러스터로 그 다양성을 포착할 수 있는가?
• RQ2 구조화된 다중 클러스터 메모리가 PTTA 하에서 메모리 기반 TTA의 안정성 및 성능을 향상시킬 수 있는가?
• RQ3 디스크립터 기반 클러스터링, ACC, UCR이 SCM보다 더 나은 메모리 커버리지와 적응을 collectively 제공하는가?

주요 결과

방법	장소	CIFAR10-C	CIFAR100-C	ImageNet-C	DomainNet
Source	–	43.50	46.40	82.00	–
BN	CoRR’20	75.20	52.90	–	–
PL	ICML’13	82.90	88.90	–	–
TENT	ICLR’21	86.00	92.80	–	–
LAME	CVPR’22	39.50	40.50	80.90	–
CoTTA	CVPR’22	83.20	52.20	98.60	–
NOTE	NeurIPS’22	31.10	73.80	–	–
RDumb	NeurIPS’23	31.10	36.70	72.20	44.30
ROID	WACV’24	72.70	76.40	62.70	–
TRIBE	AAAI’24	15.30	33.80	63.60	–
NEO	ICLR’26	46.36	43.25	78.25	–
RoTTA	CVPR’23	25.20	35.00	68.30	44.30
RoTTA + MCM	–	22.59	33.75	67.46	42.53
PeTTA	NeurIPS’24	24.30	35.80	65.30	43.80
PeTTA + MCM	–	21.55	33.04	60.30	42.80
ResiTTA	ICASSP’25	22.80	32.50	69.40	54.76
ResiTTA + MCM	–	20.69	31.90	66.65	42.63

• MCM은 모든 12개의 베이스라인-데이터셋 구성을 일관되게 개선했으며, 평균 오류 감소 2.96%의 이득을 보였다.
• 가장 큰 이득은 베이스라인과 결합될 때 ImageNet-C에서 5.00%, DomainNet에서 12.13%였다.
• 이 설정에서 디스크립터 기반 픽셀 통계가 클러스터링에 대해 CNN 기반 디스크립터보다 우수하다.
• ACC는 정확도와 런타임 간의 최적의 절충을 제공하며 GCC, SCM, LRU 전략을 능가한다.
• 메모리 진단은 MCM이 균형 잡힌 점유율, 높은 엔트로피, 완전한 모드 커버리지를 달성하는 반면, SCM은 불균형과 모드 손실을 보인다.
• GMM 기반 진단은 다중 클러스터 메모리가 PTTA 전역에서 다모형 분포 구조를 보존함을 확인한다.

Figure 2 : Overview of the TTA system with Multi-Cluster Memory (MCM). Incoming samples are assigned to clusters via pixel-level descriptors ( left ). Uniform Cluster Retrieval (UCR) draws balanced samples across all clusters for adaptation ( center ). Adjacent Cluster Consolidation (ACC) merges the