[論文レビュー] Test time Adaptation through Perturbation Robustness

Prabhu Teja Sivaprasad, François Fleuret|arXiv (Cornell University)|Oct 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 12

ひとこと要約

本論文では、テスト入力の摂動に対する予測の一貫性を強制することで、分布シフトに対するモデルのロバスト性を向上させるテスト時適応手法を提案する。テスト時におけるデータ拡張を用いた一貫性正則化を適用することで、訓練時におけるターゲットドメインデータの必要なしに、CIFAR-10-C、CIFAR-100-C、VisDA-Cベンチマークで最先端または競争力のある性能を達成する。

ABSTRACT

Data samples generated by several real world processes are dynamic in nature extit{i.e.}, their characteristics vary with time. Thus it is not possible to train and tackle all possible distributional shifts between training and inference, using the host of transfer learning methods in literature. In this paper, we tackle this problem of adapting to domain shift at inference time extit{i.e.}, we do not change the training process, but quickly adapt the model at test-time to handle any domain shift. For this, we propose to enforce consistency of predictions of data sampled in the vicinity of test sample on the image manifold. On a host of test scenarios like dealing with corruptions (CIFAR-10-C and CIFAR-100-C), and domain adaptation (VisDA-C), our method is at par or significantly outperforms previous methods.

研究の動機と目的

• 訓練時と推論時の分布が異なる実世界の動的データにおけるドメインシフトに対処すること。
• 訓練時にラベル付きターゲットデータを必要としない軽量なテスト時適応手法を開発すること。
• 事前学習済みモデルの変更なしに、コルーチョンやドメインシフトに対するモデルのロバスト性を向上させること。
• テストサンプルとその摂動のみを用いて、推論時に高速に適応できるようにすること。
• 画像のコルーチョンやドメインシフトベンチマークを含む多様なテスト時シナリオにおいて、強力な性能を達成すること。

提案手法

• テスト入力にデータ拡張（例：RandAugment、AugMix）を適用して摂動されたビューを生成する。
• 予測の一貫性を、予測間の一致度（例：交差エントロピーまたはMSE）を用いた一貫性損失によって強制する。
• 推論時に勾配降下法（SGD）を用いて、一貫性損失に基づきモデルのヘッドパラメータを最適化する。
• 2項損失関数を用いる：1つは拡張されたビュー間の一貫性、もう1つは元のテストサンプルにおける予測損失の最小化。
• 効率性を保つためにSGDステップ数を制限しつつ、効果的な適応を可能にする。
• バックボーンの重みを更新せず、ヘッドのみを最適化することで、高速で軽量な適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 テストサンプルの摂動に対する予測の一貫性を強制することで、分布シフトに対するロバスト性が向上するか？
• RQ2 拡張戦略の選択（例：RandAugment対 AugMix）がテスト時適応性能に与える影響は？
• RQ3 学習率、バッチサイズ、SGDステップ数といったハイパーパrameterのうち、適応性能に最も顕著な影響を与えるのはどれか？
• RQ4 推論時に一貫性正則化を適用することで、Tentなどの既存のテスト時適応手法を上回る性能が得られるか？
• RQ5 異なる拡張強度に対して本手法はロバストか？また、低強度の拡張の方が優れた結果をもたらすか？

主な発見

• 提案手法はVisDA-Cで67.1%の正確度を達成し、ベースライン（44.08%）を上回り、CIFAR-10-CおよびCIFAR-100-Cの全コルーチョンタイプでTentと同等またはそれを上回る性能を示した。
• ベースラインモデルの正確度が低い状況でも性能が顕著に向上することから、初期状態が悪い場合でも強い適応能力を示している。
• 学習率の変動に強く、最適な性能は約10^-4で得られ、広い範囲の学習率で安定した性能を示した。
• 拡張強度を低く（少ない拡張回数）することで性能が向上し、元の画像多様体に近い摂動がより効果的であることが示唆された。
• 正規化層の更新が安定するためには最小バッチサイズ16が必要であり、限られたハードウェア環境での展開に実用的な制約があることが示された。
• 一貫性損失と予測損失の両方を組み合わせた場合が最良の性能を示し、一貫性損失のみのバージョンでもVisDA-CでTentを上回った。