[論文レビュー] EcoTTA: Memory-Efficient Continual Test-time Adaptation via Self-distilled Regularization

Junha Song, Jungsoo Lee+2 more|arXiv (Cornell University)|Mar 3, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

EcoTTAは、軽量なメタネットワークと自己蒸留正則化を用いるメモリ効率の良い継続的テスト時適応手法を提案する。CoTTAなどの最先端手法と比較して、活性化メモリを80–86%削減する一方で、固定された元のネットワークからの知識蒸留により、深刻な忘却や誤差蓄積を防ぎ、性能を維持する。

ABSTRACT

This paper presents a simple yet effective approach that improves continual test-time adaptation (TTA) in a memory-efficient manner. TTA may primarily be conducted on edge devices with limited memory, so reducing memory is crucial but has been overlooked in previous TTA studies. In addition, long-term adaptation often leads to catastrophic forgetting and error accumulation, which hinders applying TTA in real-world deployments. Our approach consists of two components to address these issues. First, we present lightweight meta networks that can adapt the frozen original networks to the target domain. This novel architecture minimizes memory consumption by decreasing the size of intermediate activations required for backpropagation. Second, our novel self-distilled regularization controls the output of the meta networks not to deviate significantly from the output of the frozen original networks, thereby preserving well-trained knowledge from the source domain. Without additional memory, this regularization prevents error accumulation and catastrophic forgetting, resulting in stable performance even in long-term test-time adaptation. We demonstrate that our simple yet effective strategy outperforms other state-of-the-art methods on various benchmarks for image classification and semantic segmentation tasks. Notably, our proposed method with ResNet-50 and WideResNet-40 takes 86% and 80% less memory than the recent state-of-the-art method, CoTTA.

研究の動機と目的

• エッジデバイスにおけるテスト時適応（TTA）における高いメモリ消費量、特にバックプロパゲーション中の活性化メモリの支配的領域という重要な課題に対処する。
• 自己教師あり損失最適化による無監督学習に起因する、長期的な継続的TTAにおける深刻な忘却と誤差蓄積の問題を克服する。
• 元のネットワークを固定し、軽量なメタネットワークのみを適応させるメモリ効率の良いアーキテクチャを設計する。
• メタネットワークの出力を固定された元のネットワークの出力に近づけることで、元のドメイン知識を保持する自己蒸留正則化技術を導入する。
• 最小限のメモリオーバーヘッドで最先端の性能を達成し、実世界の継続的変化する環境における実用的導入を可能にする。

提案手法

• 2段階のアーキテクチャを提案：固定された事前学習済みバックボーンネットワークと、特定の段階に接続された軽量なメタネットワーク（1層のバッチノーマライゼーションと1つの畳み込みブロック）の組み合わせ。
• テスト時適応中に、主なネットワークを経由するバックプロパゲーションを回避し、メタネットワークのみを更新することで、活性化メモリのストレージを著しく削減する。
• メタネットワークの出力と、同じレイヤーにおける固定された元のネットワークの出力とのL2距離を最小化する自己蒸留正則化を実装する。
• 標準的な自己教師あり損失（例：エントロピー最小化）と並列に正則化を適用し、追加のメモリや計算を要しない。
• 適応するレイヤー数を制御するためのモデル分割要因Kを導入し、性能とメモリ使用量のトレードオフを可能にする。
• 自己教師あり適応損失（例：エントロピー最小化）と自己蒸留正則化損失の両方を組み合わせた損失関数を用いてメタネットワークを学習する。

Figure 1 : (a) Memory cost comparison between TTA methods . The size of activations, not the parameters, is the primary memory bottleneck during training. (b) CIFAR-C adaptation performance. We perform the continual online adaptation on CIFAR-C dataset. The x- and y-axis are the average error of all

実験結果

リサーチクエスチョン

• RQ1 軽量なメタネットワークアーキテクチャは、継続的TTAにおけるメモリ消費量を顕著に削減しつつ、性能を維持できるか？
• RQ2 自己蒸留正則化は、長期的な継続的適応において深刻な忘却や誤差蓄積を効果的に防止できるか？
• RQ3 CoTTAなどの最先端手法と比較して、EcoTTAは継続的TTAベンチマークにおけるメモリ効率と精度で優れているか？
• RQ4 提案手法は、実世界のエッジデプロイメント環境において、最小限のメモリオーバーヘッドで最先端の性能を達成できるか？
• RQ5 分割要因Kを変化させた際の、適応性能とメモリ消費量のトレードオフはいかなるものか？

主な発見

• 同じ継続的TTA設定下で、ResNet-50とWideResNet-40について、CoTTAと比較してそれぞれ86%および80%の活性化メモリ消費量削減を達成した。
• CIFAR-100-C（深刻度5）において、EcoTTA（K=4）は80 MBのメモリで平均誤差36.4%を達成し、CoTTA（38.1%誤差、409 MB）および他の最先端手法を上回る精度を示しながら、顕著に少ないメモリを消費した。
• 自己蒸留正則化により、長期的な安定した適応が可能となり、元ドメインでの性能劣化や時間経過に伴う誤差蓄積が抑制された。
• 1つのBN層と1つの畳み込みブロックのみを備えたメタネットワークでも、競争力のある性能が達成されたことから、最小限のパラメータ更新でも顕著な向上が得られることを示した。
• 正則化に起因する計算オーバーヘッドは無視できるほど小さく、適応損失と並列に計算され、追加のメモリを要しない。
• CIFAR-Cベンチマークにおける多様な劣化条件下でも、EcoTTAは優れた一般化性能を維持し、ドメインシフト下での継続的適応におけるロバスト性を示した。

Figure 2 : Architecture for test-time adaptation. We illustrate TTA methods: TENT [ 65 ] , EATA [ 50 ] , CoTTA [ 66 ] , and Ours (EcoTTA). TENT and EATA update multiple batch norm layers, in which large activations have to be stored for gradient calculation. In CoTTA, an entire network is trained wi