[論文レビュー] Tent: Fully Test-time Adaptation by Entropy Minimization

Dequan Wang, Evan Shelhamer+3 more|arXiv (Cornell University)|Jun 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 284

ひとこと要約

Tentは、チャネルごとの特徴変調を通じて予測エントロピーを最小化することにより、ソースデータを使わず推論時に更新する完全なテスト時適応を実現し、最先端の頑健性とドメイン適応の成果を達成します。

ABSTRACT

A model must adapt itself to generalize to new and different data during testing. In this setting of fully test-time adaptation the model has only the test data and its own parameters. We propose to adapt by test entropy minimization (tent): we optimize the model for confidence as measured by the entropy of its predictions. Our method estimates normalization statistics and optimizes channel-wise affine transformations to update online on each batch. Tent reduces generalization error for image classification on corrupted ImageNet and CIFAR-10/100 and reaches a new state-of-the-art error on ImageNet-C. Tent handles source-free domain adaptation on digit recognition from SVHN to MNIST/MNIST-M/USPS, on semantic segmentation from GTA to Cityscapes, and on the VisDA-C benchmark. These results are achieved in one epoch of test-time optimization without altering training.

研究の動機と目的

• 未ラベルのターゲットデータとモデルパラメータのみが利用可能な状態で、完全なテスト時適応を動機づける。
• 適応を推進するエントロピーベースの目的関数（テストエントロピー）を提案する。
• 低次元のチャネル単位特徴変調を介して効率的なオンライン適応を可能にする。
• 学習データと手順を保持し、学習を変更せずテスト時のみ適応する。

提案手法

• 監視付きで訓練された確率的かつ微分可能なモデルを使用する。
• テスト時の目的を、ターゲットデータに対する予測エントロピーを最小化することとして定義する。
• チャネルごとのアフィンパラメータ（gamma, beta）を更新し、各層の統計量（mu, sigma）を推定して特徴を変調する。
• ソースデータにアクセスせず、テスト時にバッチごとに規格化統計量とアフィンパラメータを更新する。
• エントロピー損失からの勾配で、変調パラメータ（モデルパラメータのごく一部）だけを最適化する。
• オンラインおよびオフライン適応プロトコルを提供する：オンライン更新はテストデータで継続し、オフライン更新は推論の前に行われる。

実験結果

リサーチクエスチョン

• RQ1 未ラベルのテストデータだけのエントロピー最小化が、ソースデータなしで効果的なテスト時適応を導くことができるか？
• RQ2 チャネルごとの特徴変調（gamma, beta）とその場での統計推定が、タスクを超えた頑健な適応に十分で効率的か？
• RQ3 汚損、ドメインシフト、およびシミュレーション-to-realの設定において、tentは既存のテスト時・ドメイン適応法とどのように比較されるか？

主な発見

• TentはImageNet-Cでオンライン時に44.0%、オフライン適応時に42.3%のエラーで最先端の頑健性を達成する。
• CIFAR-10-CおよびCIFAR-100-Cでは、最も強い汚損下でそれぞれ14.3%、37.3%のエラーを達成し、いくつかのベースラインを上回る。
• デジタルドメインのシフト（SVHNからMNIST、MNIST-M、USPS）では、tentはバッチ正規化のベースラインを上回り、しばしばソースデータを使用せずにソース訓練済みのドメイン適応法にも匹敵する。
• Tentは大規模モデルやセマンティックセグメンテーション（Cityscapes）およびVisDA-Cにも適用可能で、テスト時のエントロピー最小化によって大きな利得を得られる。
• 変調パラメータ（gamma, beta）のみをみ適応させると、アップデートは最小限で済み（通常はパラメータの<1%）、オンライン推論をサポートする。）