[論文レビュー] MixNorm: Test-Time Adaptation Through Online Normalization Estimation

Xuefeng Hu, Mustafa Gökhan Uzunbaş+5 more|arXiv (Cornell University)|Oct 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 16

ひとこと要約

MixNormは、テスト時適応のための新規手法であり、大規模なバッチや単一ドメインの仮定に依存せずに、1つのテストサンプルからバッチ正規化統計を推定するための適応的融合によるグローバル統計とローカル統計を用いる。これは、任意のバッチサイズや混合分布を伴う現実世界の設定でも、TENTなどの最先端手法を著しく上回る性能を発揮する。また、ソースフリーのドメイン適応やゼロショット分類の性能向上にも寄与する。

ABSTRACT

We present a simple and effective way to estimate the batch-norm statistics during test time, to fast adapt a source model to target test samples. Known as Test-Time Adaptation, most prior works studying this task follow two assumptions in their evaluation where (1) test samples come together as a large batch, and (2) all from a single test distribution. However, in practice, these two assumptions may not stand, the reasons for which we propose two new evaluation settings where batch sizes are arbitrary and multiple distributions are considered. Unlike the previous methods that require a large batch of single distribution during test time to calculate stable batch-norm statistics, our method avoid any dependency on large online batches and is able to estimate accurate batch-norm statistics with a single sample. The proposed method significantly outperforms the State-Of-The-Art in the newly proposed settings in Test-Time Adaptation Task, and also demonstrates improvements in various other settings such as Source-Free Unsupervised Domain Adaptation and Zero-Shot Classification.

研究の動機と目的

• 既存のテスト時適応（TTA）手法における現実的でない仮定（大規模なオンラインバッチや単一シフトのテスト分布）を是正すること。
• 1つのテストサンプルから正確なバッチ正規化統計を推定し、リアルタイムでオンライン適応を可能にする手法の開発。
• テストサンプルが小規模なバッチや混合バッチで到着する現実世界の分布シフトに対して、モデルの頑健性を向上させること。
• 実際の展開制約を反映する新しい、現実的なTTAベンチマークを用いて、手法の評価を行うこと。
• TTAの利点を分布シフトの領域を超えて、ソースフリーのドメイン適応やゼロショット分類といったタスクへ拡張すること。

提案手法

• MixNormは、標準のバッチ正規化レイヤーを、履歴サンプルからの移動平均統計と、現在の入力およびその空間的増幅のローカル統計を組み合わせたハイブリッド正規化レイヤーに置き換える。
• グローバル（移動平均）統計とローカル（現在のサンプル＋増幅）統計の重み付き融合を用い、その寄与度を調整するための可学習係数を導入する。
• 1つの入力サンプルのみを用いて、バッチ依存性を回避するリアルタイムでの正規化統計更新のための新規オンライン推定メカニズムを導入する。
• 空間的増幅（例：クロップ、反転）を用いることで、1つのサンプルからも信頼性の高いローカル統計を計算可能にする。
• 実験により、アフィンパラメータ（α, β）の最適化は、適応的統計推定の恩恵を著しく向上させないため、正規化レイヤー内のアフィンパラメータを固定する。
• 標準的なディープラーニングモデルと互換性があり、微調整なしに事前学習済みモデルのバッチ正規化レイヤーを置き換えることで適用可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模なオンラインバッチのテストデータに依存せずに、テスト時適応を効果的に行うことは可能か？
• RQ2 テストサンプルが複数の分布から来たり、小規模なバッチサイズで到着する場合、TTA手法の性能はどの程度劣化するか？
• RQ3 グローバル統計とローカル統計の適応的融合を用いて、1つのテストサンプルから正確なバッチ正規化統計を推定することは可能か？
• RQ4 MixNormは、ソースフリーの教師なしドメイン適応およびゼロショット分類タスクにおける一般化性能を向上させるか？
• RQ5 ローカル統計推定の安定性と精度に与える空間的増幅の数の影響は何か？

主な発見

• ResNet-50を用いて、ImageNet-Cの混合汚染セットで31.96%の誤差率を達成し、TENTや他のベースラインを現実的な評価プロトコル下で著しく上回った。
• 80%のグローバル統計と20%のローカル統計を組み合わせた場合、ImageNet-Cで誤差率が31.96%に低下し、適応的融合の有効性が示された。
• ゼロショット分類では、CLIPのCIFAR-100における精度を40.97%から45.13%に、Stanford-Carsでは53.80%から54.01%に向上させ、大規模な事前学習モデルに対しても効果を示した。
• ソースフリーのドメイン適応では、MixNormBNがSVHN→MNISTで7.95%の誤差率を達成し、TENT（8.17%）とBN（22.70%）を大きく上回った。
• ローカル統計推定に用いる増幅数の変化が性能に与える影響は最小限であり、1～15の増幅数の間で誤差率が0.4%未満で変動したため、安定性と効率性が確認された。
• 可学習アフィン重み（α, β）の使用は、性能向上を顕著に示さず、追加の可学習パラメータが不要であることが示唆された。