[論文レビュー] MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption

Alexander Bartler, Andre Bühler+3 more|arXiv (Cornell University)|Mar 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 14

ひとこと要約

MT3は、メタ学習（MAML）と自己教師付き対照的学習（BYOL）を組み合わせることで、テスト時における未学習の分布シフトに、1枚のラベルなしテスト画像のみを用いて迅速に適応できる新規手法である。CIFAR-10-CorruptedでSOTAを達成し、前回SOTAのTTTよりも平均精度を6.6%（相対的に9.57%）向上させた。

ABSTRACT

An unresolved problem in Deep Learning is the ability of neural networks to cope with domain shifts during test-time, imposed by commonly fixing network parameters after training. Our proposed method Meta Test-Time Training (MT3), however, breaks this paradigm and enables adaption at test-time. We combine meta-learning, self-supervision and test-time training to learn to adapt to unseen test distributions. By minimizing the self-supervised loss, we learn task-specific model parameters for different tasks. A meta-model is optimized such that its adaption to the different task-specific models leads to higher performance on those tasks. During test-time a single unlabeled image is sufficient to adapt the meta-model parameters. This is achieved by minimizing only the self-supervised loss component resulting in a better prediction for that image. Our approach significantly improves the state-of-the-art results on the CIFAR-10-Corrupted image classification benchmark. Our implementation is available on GitHub.

研究の動機と目的

• テストデータの分布が訓練時と異なる（ノイズ、敵対的摂動、環境変化など）テスト時におけるドメインシフトの課題に対処すること。
• 訓練後に重みが固定されるという制限を克服し、1枚のラベルなし画像のみを用いてテスト時における動的適応を可能にすること。
• メタ最適化を用いない、共同学習に依存する従来のテスト時学習（TTT）手法では、未観測の分布シフトに一般化しにくいため、その限界を克服すること。
• メタ最適化により、モデルパラメータを最適化し、多様で未観測のテスト分布への迅速かつ効果的な適応を学習すること。
• 訓練時にテストデータを必要とせず、CIFAR-10-Corrupted や CIFAR-100-Corrupted といったベンチマークデータセットで、複数のノイズタイプに対して堅牢な性能を発揮すること。

提案手法

• メタ学習（MAML）を活用し、1枚の画像のみで未学習のテスト分布に迅速に適応できるメタモデルを訓練する。
• メタトレーニング中に、頑健で汎用性の高い表現を学ぶために、自己教師付き対照的学習（BYOL）を補助損失として用いる。
• テスト時、勾配ステップを用いて、1枚のラベルなしテスト画像上の自己教師付きBYOL損失のみを最小化することでメタモデルを適応させる。
• 教師ありヘッドは変更せず、共有特徴抽出部とメタパラメータのみを微調整し、現在のテストサンプルにおける予測を向上させる。
• 2ヘッドアーキテクチャを採用：1つは教師あり下流分類用、もう1つはBYOLによる自己教師付き表現学習用。
• メタパラメータを最適化することで、任意の新しいテスト画像に対して、その適応が下流タスクの性能を向上させるようにする。特に深刻な分布シフト下でも有効である。

実験結果

リサーチクエスチョン

• RQ1 メタ学習と自己教師付き学習を効果的に組み合わせることで、未観測の分布シフトに、1枚の画像のみで迅速にテスト時適応できるか？
• RQ2 メタ最適化による適応は、標準的な共同学習や単純なテスト時学習（TTT）に比べ、ノイズのあるテストデータにおける耐性と精度で優れているか？
• RQ3 CIFAR-10-Corruptedベンチマークにおいて、メタ学習とBYOLで学習したモデルは、多様なノイズタイプにどの程度一般化できるか？
• RQ4 MT3の性能は、TTT やワンショット UDA といった先行SOTA手法と比較して、精度と適応安定性の面で優れているか？
• RQ5 本手法は、CIFAR-100-Corrupted といったより複雑なデータセットにもスケーラブルであり、分布シフト下でも強力な一般化性能を維持できるか？

主な発見

• MT3はCIFAR-10-Corruptedベンチマークで平均75.6%の精度を達成し、前回SOTAのTTT手法よりも6.6ポイント向上した。
• TTTよりも相対的に9.57%の向上を示し、メタ最適化が迅速かつ効果的なテスト時適応を可能にしていることを裏付けた。
• CIFAR-10-Corruptedの15種類のノイズタイプのうち7つについて、比較手法全般の中で最高の精度を記録しており、多様なノイズに対して強い一般化性能を示している。
• 標準的な共同学習とは異なり、テスト時適応後に平均で0.5%の性能低下を示すのに対し、MT3は1ステップの勾配更新で4.2%の精度向上を達成した。
• CIFAR-100-Corruptedに対しても同様の性能向上を示し、全ノイズタイプの平均精度40.3%を達成した。これは、より複雑な分類タスクに対してもスケーラブルであることを示している。
• アブレーションスタディにより、メタ学習が不可欠であることが確認された：BYOLを用いた単純な共同学習では、効果的なテスト時適応が達成できず、迅速な適応にはメタ最適化が不可欠であることが示された。