[論文レビュー] Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation

Chaithanya Kumar Mummadi, Robin Hutmacher+4 more|arXiv (Cornell University)|Jun 28, 2021

Anomaly Detection Techniques and Applications参考文献 39被引用数 40

ひとこと要約

本論文は、非飽和の尤度比損失（HLR/SLR）を用いた完全なテスト時適応、移動平均による多様性正則化、および分布シフトに対する頑健性をターゲットラベルなしで向上させる学習可能な入力変換モジュールを提案する。

ABSTRACT

Deep neural networks often exhibit poor performance on data that is unlikely under the train-time data distribution, for instance data affected by corruptions. Previous works demonstrate that test-time adaptation to data shift, for instance using entropy minimization, effectively improves performance on such shifted distributions. This paper focuses on the fully test-time adaptation setting, where only unlabeled data from the target distribution is required. This allows adapting arbitrary pretrained networks. Specifically, we propose a novel loss that improves test-time adaptation by addressing both premature convergence and instability of entropy minimization. This is achieved by replacing the entropy by a non-saturating surrogate and adding a diversity regularizer based on batch-wise entropy maximization that prevents convergence to trivial collapsed solutions. Moreover, we propose to prepend an input transformation module to the network that can partially undo test-time distribution shifts. Surprisingly, this preprocessing can be learned solely using the fully test-time adaptation loss in an end-to-end fashion without any target domain labels or source domain data. We show that our approach outperforms previous work in improving the robustness of publicly available pretrained image classifiers to common corruptions on such challenging benchmarks as ImageNet-C.

研究の動機と目的

• ソース/ターゲットラベルなしで、分布シフト下でも事前学習済みモデルの堅牢な性能を動機づける。
• 高信頼度予測からの学習を維持するための飽和しない回帰様損失を導入する。
• バッチ全体での移動平均多様性正則化子により崩壊解を防ぐ。
• シフトを部分的に打ち消すよう入力変換を学習可能なモジュールとして前置することで適応を強化する。
• 複数の事前学習バックボーンに対してImageNet-CおよびImageNet-Rで頑健性の向上を示す。

提案手法

• 学習可能な入力変換モジュールを事前学習済みネットワークに前置して g = f ∘ d を形成し、d はドメインシフトを部分的に打ち消す。
• パラメータの一部のみを適応させる（例：BNのアフィンパラメータ）し、テスト時にターゲットデータでBN統計を更新する。
• 自己教師付き適応のために非飽和の尤度比ベース損失 L_hlr と L_slr を用い、高信頼度で勾配消失を避ける。
• 移動平均更新 p_t(y) を伴う多様性正則化子 L_div を組み込み、退化的な予測への崩壊を防ぐ。
• L_div を非飽和バリアントの L_conf と組み合わせて、多様性を保ちながら有益な適応を促進する。

実験結果

リサーチクエスチョン

• RQ1 ソースデータなしで、汚染されたまたはシフトした分布に対して完全なテスト時適応は精度を向上させるか？
• RQ2 飽和しない尤度比ベース損失（HLR/SLR）は、適応中の高信頼度予測においてエントロピーベース損失より良い勾配を提供するか？
• RQ3 移動平均多様性正則化は適応を安定化し崩壊を防ぐか？
• RQ4 テスト時に学習される入力変換モジュールは分布シフトをさらに打ち消すことができるか？
• RQ5 提案手法はImageNet-CとImageNet-Rで複数の事前学習アーキテクチャでどのように機能するか？

主な発見

Method	Gauss	Shot	Impulse	Defocus	Glass	Motion	Zoom	Snow	Frost	Fog	Bright	Contrast	Elastic	Pixel	JPEG
No Adaptation	2.44	2.99	1.96	17.92	9.82	14.78	22.50	16.89	23.31	24.43	58.93	5.43	16.95	20.61	31.65
Pseudo Labels	2.44	2.99	1.96	17.92	9.82	14.78	22.50	16.89	23.31	24.43	58.93	5.43	16.95	20.61	31.65
Epoch 1 – TENT	32.70	35.34	35.11	32.79	31.80	47.22	53.02	51.82	43.42	60.44	68.82	27.53	58.47	61.63	55.98
Epoch 1 – TENT+	33.96	36.66	35.75	33.70	33.33	47.73	53.22	52.16	44.79	60.62	68.91	35.60	58.81	61.82	56.23
Epoch 1 – HLR (ours)	38.39	41.11	40.28	38.25	38.18	51.63	55.55	55.45	48.96	62.19	68.17	49.47	60.34	62.51	57.42
Epoch 1 – SLR (ours)	39.51	42.09	41.58	39.35	39.02	52.67	55.80	55.92	49.64	62.62	68.47	50.27	60.80	63.01	57.80
Epoch 5 – TENT	16.04	23.22	25.85	19.05	17.40	49.02	52.78	52.72	34.31	61.19	68.54	1.26	59.26	62.15	56.17
Epoch 5 – TENT+	33.97	37.95	36.93	32.69	33.36	51.42	54.33	54.55	45.80	62.09	69.03	24.08	60.36	63.10	57.21
Epoch 5 – HLR (ours)	41.37	44.04	43.68	41.74	41.09	54.26	56.43	57.03	50.81	63.05	68.29	50.98	61.15	63.08	58.13
Epoch 5 – SLR (ours)	41.52	42.90	44.07	41.69	40.78	54.76	56.59	57.35	51.01	63.53	68.72	50.65	61.49	63.46	58.32

• HLRとSLRはImageNet-CおよびImageNet-Rのいくつかの事前学習モデルでTENTおよびTENT+を上回る。
• 提案損失を用いた適応は平均汚染精度を向上させ、特に堅牢なバックボーン（例：DeepAugment+AugMix）を使用する場合に顕著。
• 単一エポックのテスト時適応でもかなりの効果をもたらし、エポック5まで追加の改善が見られ、L_div が訓練を安定化させる。
• シフトを部分的に打ち消す入力変換（IT）モジュールは、いくつかの歪み（例：Impulse、Contrast）に対する頑健性を高める。
• 真の教師付き適応は上限を与え、提案手法は複数の設定でこれらの上限に近づく。