[論文レビュー] Source-Free Adaptation to Measurement Shift via Bottom-Up Feature Restoration

Cian Eastwood, Ian Mason+2 more|arXiv (Cornell University)|Jul 12, 2021

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、測定シフトに対するソースフリー領域適応のためのボトムアップ特徴復元（BUFR）を提案する。BUFRは、特徴分布を一致させるためにソフトバケット化ヒストグラムを用いて、ターゲットドメインにおけるソースドメイン特徴を復元する。BUFRは、精度、キャリブレーション、データ効率の面で既存手法を上回り、特にソースモデルの特徴分離がターゲットドメインで劣化する状況において顕著な性能向上を示す。

ABSTRACT

Source-free domain adaptation (SFDA) aims to adapt a model trained on labelled data in a source domain to unlabelled data in a target domain without access to the source-domain data during adaptation. Existing methods for SFDA leverage entropy-minimization techniques which: (i) apply only to classification; (ii) destroy model calibration; and (iii) rely on the source model achieving a good level of feature-space class-separation in the target domain. We address these issues for a particularly pervasive type of domain shift called measurement shift which can be resolved by restoring the source features rather than extracting new ones. In particular, we propose Feature Restoration (FR) wherein we: (i) store a lightweight and flexible approximation of the feature distribution under the source data; and (ii) adapt the feature-extractor such that the approximate feature distribution under the target data realigns with that saved on the source. We additionally propose a bottom-up training scheme which boosts performance, which we call Bottom-Up Feature Restoration (BUFR). On real and synthetic data, we demonstrate that BUFR outperforms existing SFDA methods in terms of accuracy, calibration, and data efficiency, while being less reliant on the performance of the source model in the target domain.

研究の動機と目的

• エントロピー最小化に基づくソースフリー領域適応（SFDA）の限界を解決すること。このアプローチは分類に限定され、モデルのキャリブレーションを劣化させ、ターゲットドメインにおける特徴分離の完全性に依存する。
• 医療画像や自動運転など実世界の機械学習導入で一般的な測定シフトに取り組むこと。測定シフトとは、センサーまたは撮影条件の変化に起因するドメインシフトを指す。
• ソースドメインの意味的特徴をターゲットドメイン特徴に復元する手法を提案すること。これは、意味的整合性が十分であれば性能回復が達成可能であるという仮定に基づく。
• 生データを保存せずに、ソフトバケット化ヒストグラムを用いた軽量で柔軟な分布近似法を開発すること。
• 特に深いネットワーク層においても階層的特徴構造を保持するボトムアップトレーニングスキーム（BUFR）を構築し、特徴復元品質を向上させること。

提案手法

• モデルトレーニング中に、ソースドメインの周辺特徴分布をソフトバケット化ヒストグラムで近似し、特徴分布の軽量な表現のみを保存する。
• デプロイ時、ターゲット特徴抽出器を、ヒストグラムベースの分布一致によって、保存済みのソース分布と一致させるように適応する。
• 深層ネットワークのより深い層を最初に段階的に微調整するボトムアップトレーニングスキームを適用し、階層的特徴構造を保持することで、復元の忠実度を向上させる。
• ターゲット特徴分布のソフトバケット化分布と保存済みソース分布とのKLダイバージェンスを最小化する損失関数を用いて特徴抽出器を最適化する。
• 温度制御されたソフトバケット化を用いて微分可能なヒストグラム近似を実現し、特徴抽出器のエンドツーエンド学習を可能にする。
• 適応段階で分類器ヘッドを特徴抽出器から分離し、元のソース分類器を保持しつつ、特徴抽出プロセスのみを適応させる。

実験結果

リサーチクエスチョン

• RQ1 測定シフト下で、分布一致による特徴復元は、エントロピー最小化に基づくSFDA手法を上回る性能を発揮するか？
• RQ2 ボトムアップトレーニングスキームは、ソースフリー適応における特徴復元品質と一般化性能を向上させるか？
• RQ3 BUFRは、ソースモデルの初期特徴分離がターゲットドメインで劣化するのをどれほど軽減するか？
• RQ4 BUFRは、実際および合成された測定シフトベンチマークにおいて、最先端のSFDA手法と比較して、精度、キャリブレーション、データ効率の面でどの程度優れているか？
• RQ5 生データにアクセスできない状況でも、軽量なヒストグラムベースの分布近似は、ソースの意味的特徴を効果的に捉え復元できるか？

主な発見

• BUFRはCIFAR-100-CおよびEMNIST-DAベンチマークの両方で最先端の精度を達成し、TENT、SHOT-IM、AdaBNなどの手法をすべての評価対象の測定シフトタイプで上回った。
• CIFAR-100-Cでは、平均精度63.1%（±0.3）を達成し、次に良い手法（TENT）の平均3.1ポイント上回った。
• BUFRはモデルキャリブレーションを顕著に改善し、CIFAR-100-Cでは期待キャリブレーション誤差（ECE）を13.6%に低下させた。TENTは14.3%、AdaBNは17.7%であった。
• 既存のSFDAアプローチよりもデータ効率に優れ、限られたターゲットドメインデータでも高い性能を維持した。
• BUFRのボトムアップトレーニングスキームにより、特に深い層での特徴復元が向上し、ソースモデルの特徴分離がターゲットドメインで崩壊した場合の性能劣化が低減された。
• EMNIST-DAでは、スパッタ汚染下で71.6%の精度を達成し、2番目に良い手法（TENT）を1.0ポイント上回った。