[論文レビュー] Fully Test-time Adaptation by Entropy Minimization

Dequan Wang, Evan Shelhamer+3 more|arXiv (Cornell University)|Jun 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 66被引用数 25

ひとこと要約

本稿では、推論時における分布シフトに適応するための完全なテスト時適応手法TENTを提案する。TENTは予測エントロピーを最小化することで、再訓練を伴わず、バッチ正規化統計およびチャネル別アフィン変換をバッチごとにオンラインで最適化し、ImageNet-C、SVHN-to-MNIST、VisDA-Cベンチマークで最先端の性能を達成する。

ABSTRACT

A model must adapt itself to generalize to new and different data during testing. In this setting of fully test-time adaptation the model has only the test data and its own parameters. We propose to adapt by test entropy minimization (tent): we optimize the model for confidence as measured by the entropy of its predictions. Our method estimates normalization statistics and optimizes channel-wise affine transformations to update online on each batch. Tent reduces generalization error for image classification on corrupted ImageNet and CIFAR-10/100 and reaches a new state-of-the-art error on ImageNet-C. Tent handles source-free domain adaptation on digit recognition from SVHN to MNIST/MNIST-M/USPS, on semantic segmentation from GTA to Cityscapes, and on the VisDA-C benchmark. These results are achieved in one epoch of test-time optimization without altering training.

研究の動機と目的

• テストデータの分布が学習データと異なる画像分類におけるドメインシフトの課題に対処すること。
• 学習データやラベルにアクセスできない状況でも、テストデータとモデルパラメータのみを用いてテスト時におけるモデル適応を可能にすること。
• ファインチューニングやモデル再訓練を伴わず、分布シフト下での一般化性能を向上させる手法を開発すること。
• ImageNet-C、VisDA-C、および数字認識タスクを含む複数のベンチマークで最先端の性能を達成すること。
• 1回のテスト時最適化パスで動作する軽量でオンラインな適応メカニズムを設計すること。

提案手法

• テスト時推論中に予測のエントロピーを最小化することで、モデルの信頼性を最適化する。
• オンライン統計更新を用いて、各テストバッチごとにバッチ正規化統計を即時推定する。
• 各バッチごとに特徴表現を適応させるために、学習可能なチャネル別アフィン変換を適用する。
• 交差エントロピー損失にエントロピー正則化を組み合わせ、確率的最適化により正規化パrameterとアフィン重みを更新する。
• メインネットワークのバックボーン重みを更新せずに、各テストバッチに対して1回の順伝搬・逆伝搬パスでエンドツーエンド最適化を実行する。
• 動き量に基づく更新ルールを用いて、バッチ間での適応プロセスの安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習データにアクセスできない状況でも、エントロピー最小化が分布シフト下でのモデル適応を効果的に導けるか？
• RQ2 テスト時エントロピー最小化は、ImageNet-C、VisDA-C、および数字認識を含む多様なベンチマークに一般化できるか？
• RQ3 既存のドメイン一般化および自己教師付き手法と比較して、完全なテスト時適応手法の性能はいかがなものか？
• RQ4 オンラインバッチ正規化とアフィン適応は、汚染済みおよびシフトしたデータ分布に対するロバストネスを向上させられるか？
• RQ5 1回のテスト時最適化エポックのみで、この手法が最先端の結果を達成できるか？

主な発見

• TENTはImageNet-Cで20.1%という新たな最先端の誤差率を達成し、先行手法を顕著に上回った。
• SVHN-to-MNISTベンチマークでは、適応なしのベースラインモデルと比較して、精度が10%以上向上した。
• GTAからCityscapesへの画像セマンティックセグメンテーションでは、mIoUが51.2を達成し、密度予測タスクにおいて優れた性能を示した。
• VisDA-Cベンチマークでは、トップ1精度76.3%を達成し、テスト時適応分野で新たな最先端性能を樹立した。
• 本手法は、画像分類、セマンティックセグメンテーション、数字認識を含む複数のドメインとタスクに一般化可能であり、一貫した性能向上を示した。
• TENTは、モデルの学習手順を変更せず、1回のテスト時最適化エポックのみを用いて、これらの結果を達成した。