[論文レビュー] Test-Time Training with Self-Supervision for Generalization under Distribution Shifts

Yu Sun, Xiaolong Wang+4 more|arXiv (Cornell University)|Sep 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 92被引用数 70

ひとこと要約

この論文は Test-Time Training (TTT) を紹介します。自己監視型の補助タスクを用いてテスト時にモデルパラメータを更新し、分布シフトに対する頑健性を向上させる手法と、そのオンライン版を含む。

ABSTRACT

In this paper, we propose Test-Time Training, a general approach for improving the performance of predictive models when training and test data come from different distributions. We turn a single unlabeled test sample into a self-supervised learning problem, on which we update the model parameters before making a prediction. This also extends naturally to data in an online stream. Our simple approach leads to improvements on diverse image classification benchmarks aimed at evaluating robustness to distribution shifts.

研究の動機と目的

• 分布シフトを事前に予期せずに一般化させる動機づけ。
• 単一のラベルなしテストサンプルを用いたモデルのテスト時自己監視更新を提案。
• さまざまな破壊種とビデオフレームでの画像分類ベンチマークの頑健性向上を実証。
• 勾配相関がタスク間の学習信号を用いた場合、Test-Time Training がいつ改善につながるかを示す理論的洞察を提供。

提案手法

• Y 型アーキテクチャで、メインタスク分岐と自己監視タスク分岐を共有特徴抽出器として用いる。
• トレーニング分布のデータ上で、ラベル付きのメインタスクと自己監視補助タスク（回転予測）を共に学習。
• テスト時には、共有特徴抽出器のみを更新し、テストサンプル上の自己監視損失を最小化する（1ステップの SGD、またはミニバッチで複数ステップ）。
• オプションとして、テストサンプルをバッチまたはオンラインストリームで処理し、分布シフトに合わせて状態を時間とともに更新する。
• トレーニング時に用いたデータ拡張セットをテスト時の更新時にも適用。
• 学習済み状態を逐次的なテストサンプル間で引き継ぐオンライン版（TTT-Online）を提供し、徐々に変化する分布に対応。
• 理論解析（凸の場合）では、損失間の正の勾配相関がメインタスクの改善につながることを示し、経験的には深層ネットワークにも拡張。

実験結果

リサーチクエスチョン

• RQ1 自己監視補助タスクを用いたテスト時訓練は、分布シフト下でメインタスクの精度を改善するか？
• RQ2 オンラインのテスト時訓練は、バッチ/テスト時のベースラインやunsupervised domain adaptation（UDA-SS）と比較してどうか？
• RQ3 どの条件で（例：勾配相関）テスト時訓練が理論的に有効であると保証できるか？
• RQ4 破壊度データセット（CIFAR-10-C、ImageNet-C）やビデオデータセット（VID-Robust）での方法の性能はどうか？
• RQ5 未知の分布シフト（CIFAR-10.1 など）を方法は扱えるか？

主な発見

orig	gauss	shot	impul	defoc	glass	motn	zoom	snow	frost	fog	brit	contr	elast	pixel	jpeg
TTT-Online	8.2	25.8	22.6	30.6	14.6	34.4	18.3	17.1	20.0	18.0	16.9	11.2	15.6	21.6	18.1	21.2
UDA-SS	9.0	28.2	26.5	20.8	15.6	43.7	24.5	23.8	25.0	24.9	17.2	12.7	11.6	22.1	20.3	22.6

• TTTおよびTTT-Onlineは、破壊タイプとレベルを問わず、従来のオブジェクト認識ベースラインを一貫して上回り、しばしば大幅に改善。
• TTT-Onlineは、共同訓練よりも大幅に改善を示し、多くの破壊においてUDA-SSを超えることもある。
• CIFAR-10-C レベル5 では、TTT-Online は 8.2% のエラー、UDA-SS は 9.0% で、元の破壊セットに対してTTT-Online が複数の破壊でより良い性能を示す。
• ImageNet-C レベル5 では、TTT-Online は多くの破壊タイプで精度を向上させ、スライディングウィンドウでより多くのサンプルを評価するほどゲインが強くなる。
• TTT は CIFAR-10.1 および VID-Robust のテストセットでも改善を示し、未知または unseen な分布シフトにも対処できることを示唆。
• メインタスクと自己監視損失間の正の勾配相関は、テスト時更新下でメインタスクの性能向上と相関している。