[論文レビュー] Test-Time Training with Self-Supervision for Generalization under Distribution Shifts

Yu Sun, Xiaolong Wang+4 more|arXiv (Cornell University)|Sep 29, 2019

Intelligent Tutoring Systems and Adaptive Learning被引用数 199

ひとこと要約

この論文は Test-Time Training (TTT) を導入し、予測前にラベルなしのテストサンプルに対して自己 supervisd タスクを用いてモデルを更新することで、バッチおよびオンライン設定の分布シフトに対するロバスト性を向上させる。

ABSTRACT

In this paper, we propose Test-Time Training, a general approach for improving the performance of predictive models when training and test data come from different distributions. We turn a single unlabeled test sample into a self-supervised learning problem, on which we update the model parameters before making a prediction. This also extends naturally to data in an online stream. Our simple approach leads to improvements on diverse image classification benchmarks aimed at evaluating robustness to distribution shifts.

研究の動機と目的

• トレーニング分布とテスト分布が異なる場合のロバストな一般化を動機づける。
• 自己監視的補助タスクを用いた汎用的なテスト時適応フレームワークを提案する。
• 多様なベンチマークに対して標準的およびオンラインのテスト時訓練 regimes を検討する。

提案手法

• 共有特徴抽出器と二つの分岐（主要タスクと自己監視タスク（回転予測））を持つマルチタスクネットワークを構築する。
• 主要タスクのラベル付きデータと自己監視タスクのラベルなしデータを共有抽出器で共同訓練する。
• テスト時には、主要タスクを予測する前にテストサンプル上の自己監視損失を最小化することで共有特徴抽出器のみを更新する。
• トレーニング時のデータ拡張に類似したテスト時のバッチを形成するためのデータ拡張を利用する。
• 任意でオンライン設定へ拡張し、テストサンプルのストリーム全体を通して状態をサンプル間で引き継ぎながら更新する。

実験結果

リサーチクエスチョン

• RQ1 自己監視によるテスト時の更新は、テスト時にラベルがない状態で分布シフトの下で性能を改善できるか。
• RQ2 オンラインのテスト時訓練は、バッチ/テスト時適応と比較して、進化するテスト分布下でどうなるか。
• RQ3 主タスクと自己監視損失の勾配整合性は、テスト時更新の効果にどのような役割を果たすか。

主な発見

orig	gauss	shot	impul	defoc	glass	motn	zoom	snow	frost	fog	brit	contr	elast	pixel	jpeg
TTT-Online	8.2	25.8	22.6	30.6	14.6	34.4	18.3	17.1	20.0	18.0	16.9	11.2	15.6	21.6	18.1	21.2
UDA-SS	9.0	28.2	26.5	20.8	15.6	43.7	24.5	23.8	25.0	24.9	17.2	12.7	11.6	22.1	20.3	22.6

• TTTとそのオンライン変種（TTT-Online）は、複数の破損タイプとレベルで、素の物体認識ベースラインより一貫して改善する。
• TTT-Online は、結合訓練ベースラインと比較して大幅に誤差を減らすことが多く、元の分布でも改善を示す。
• CIFAR-10-C では、TTT-Online は多くの破損で回転予測を用いる無監督ドメイン適応を上回り、訓練分布の忘却が有利になる可能性を示唆する。
• ImageNet-C では、TTT-Online は多くの破損タイプで実質的な改善を生み出し、テストサンプルが増えるほど性能が向上する。
• TTT は CIFAR-10.1 で小さな利益を示し、未知の分布シフトを検出するデータセットに対するテスト時適応の第一歩となっている。
• 理論的な結果は、主タスクと自己監視損失の正の勾配相関が、テスト時更新中の主タスク性能の改善につながることを示唆する。