[論文レビュー] One Pool Is Not Enough: Multi-Cluster Memory for Practical Test-Time Adaptation

Yu-Wen Tseng, Xingyi Zheng+5 more|arXiv (Cornell University)|Mar 22, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

MCM（マルチクラスタMemory）を提案し、Practical TTAのためにメモリを複数の descriptor ベースのクラスタに組織化。既存のメモリベース手法と組み合わせると複数データセットで一貫した利得を生む。

ABSTRACT

Test-time adaptation (TTA) adapts pre-trained models to distribution shifts at inference using only unlabeled test data. Under the Practical TTA (PTTA) setting, where test streams are temporally correlated and non-i.i.d., memory has become an indispensable component for stable adaptation, yet existing methods universally store amples in a single unstructured pool. We show that this single-cluster design is fundamentally mismatched to PTTA: a stream clusterability analysis reveals that test streams are inherently multi-modal, with the optimal number of mixture components consistently far exceeding one. To close this structural gap, we propose Multi-Cluster Memory (MCM), a plug-and-play framework that organizes stored samples into multiple clusters using lightweight pixel-level statistical descriptors. MCM introduces three complementary mechanisms: descriptor-based cluster assignment to capture distinct distributional modes, Adjacent Cluster Consolidation (ACC) to bound memory usage by merging the most similar temporally adjacent clusters, and Uniform Cluster Retrieval (UCR) to ensure balanced supervision across all modes during adaptation. Integrated with three contemporary TTA methods on CIFAR-10-C, CIFAR-100-C, ImageNet-C, and DomainNet, MCM achieves consistent improvements across all 12 configurations, with gains up to 5.00% on ImageNet-C and 12.13% on DomainNet. Notably, these gains scale with distributional complexity: larger label spaces with greater multi-modality benefit most from multi-cluster organization. GMM-based memory diagnostics further confirm that MCM maintains near-optimal distributional balance, entropy, and mode coverage, whereas single-cluster memory exhibits persistent imbalance and progressive mode loss. These results establish memory organization as a key design axis for practical test-time adaptation.

研究の動機と目的

• PTTA ストリームは本質的に多モードであり、単一クラスタのメモリでは不十分であることを実証する。
• Descriptor ベースのクラスタリング、ACC、UCR を用いた Multi-Cluster Memory (MCM) を導入する。
• MCM が複数のベースラインとデータセットで適応精度を改善することを示す。
• メモリ品質とモードカバーを定量化する診断を提供する。
• 実用的な TTA の設計軸としてメモリ組織を強調する。

提案手法

• メモリを各クラスタの容量を持つ複数クラスタとして記述する。
• 画素レベルのチャネル別統計をクラスタリングの記述子として用いる。
• Adjacent Cluster Consolidation (ACC) を導入し、メモリが満杯の際に類似した隣接クラスタを統合する。
• Uniform Cluster Retrieval (UCR) を導入し、適応時にすべてのクラスタから等しくサンプルを引く。
• RoTTA、PeTTA、ResiTTA へ MCM を組み込み、CIFAR-10-C、CIFAR-100-C、ImageNet-C、DomainNet で評価する。
• メモリのバランス、エントロピー、モードカバーを評価する GMM ベースの診断フレームワークを提供する。

Figure 1 : Motivation for multi-cluster memory. (a) Stream clusterability analysis on CIFAR-100-C (PTTA): we fit GMMs with varying $K$ to sliding windows of the test stream and select the optimal $K^{*}$ via BIC across three descriptor types. The consistently high $K^{*}$ values ( $\mu_{K^{*}}$ = 5.

実験結果

リサーチクエスチョン

• RQ1 PTTA データストリームは本質的に多モードか、単一メモリクラスタでその多様性を捉えられるか。
• RQ2 構造化されたマルチクラスタなメモリは PTTA 下でのメモリベース TTA の安定性と性能を改善できるか。
• RQ3 descriptor ベースのクラスタリング、ACC、および UCR の3者は SCM よりも優れたメモリカバーと適応を達成するか。

主な発見

Method	Venue	CIFAR10-C	CIFAR100-C	ImageNet-C	DomainNet
Source	–	43.50	46.40	82.00	–
BN	CoRR’20	75.20	52.90	–	–
PL	ICML’13	82.90	88.90	–	–
TENT	ICLR’21	86.00	92.80	–	–
LAME	CVPR’22	39.50	40.50	80.90	–
CoTTA	CVPR’22	83.20	52.20	98.60	–
NOTE	NeurIPS’22	31.10	73.80	–	–
RDumb	NeurIPS’23	31.10	36.70	72.20	44.30
ROID	WACV’24	72.70	76.40	62.70	–
TRIBE	AAAI’24	15.30	33.80	63.60	–
NEO	ICLR’26	46.36	43.25	78.25	–
RoTTA	CVPR’23	25.20	35.00	68.30	44.30
RoTTA + MCM	–	22.59	33.75	67.46	42.53
PeTTA	NeurIPS’24	24.30	35.80	65.30	43.80
PeTTA + MCM	–	21.55	33.04	60.30	42.80
ResiTTA	ICASSP’25	22.80	32.50	69.40	54.76
ResiTTA + MCM	–	20.69	31.90	66.65	42.63

• MCM は12個のベースライン–データセット構成すべてで一貫して改善を示し、エラー削減の平均利得は 2.96% 。
• 最大の利得は ImageNet-C で 5.00%、DomainNet で 12.13% の向上を、ベースラインと組み合わせた場合に観測。
• この設定では descriptor ベースの画素統計がクラスタリングにおける CNN ベースの記述子より優れている。
• ACC は精度と実行時間の最良のトレードオフを提供し、GCC、SCM、LRU 戦略を上回る。
• メモリ診断は MCM が占有のバランス、エントロピーの高さ、モードカバーの完全性を達成することを示し、SCM のような不均衡やモード喪失とは異なる。
• GMM ベースの診断は、マルチクラスタメモリが PTTA 全体を通じて多モード分布構造を保持することを裏付ける。

Figure 2 : Overview of the TTA system with Multi-Cluster Memory (MCM). Incoming samples are assigned to clusters via pixel-level descriptors ( left ). Uniform Cluster Retrieval (UCR) draws balanced samples across all clusters for adaptation ( center ). Adjacent Cluster Consolidation (ACC) merges the