[論文レビュー] On Universal Black-Box Domain Adaptation

Bin Deng, Yabin Zhang+3 more|arXiv (Cornell University)|Apr 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 8

ひとこと要約

本稿では、ソースモデルのインターフェースのみが利用可能で、ターゲットのラベル空間が未知かつ異なる可能性があるという、新しい設定であるUniversal Black-Box Domain Adaptation (UB²DA)を提案する。局所的予測の一貫性による正則化を施した自己教師学習フレームワークにより、クラス内識別とクラス外検出を統合し、ソースデータやモデルへのアクセスなしに、最先端の性能を達成した。

ABSTRACT

In this paper, we study an arguably least restrictive setting of domain adaptation in a sense of practical deployment, where only the interface of source model is available to the target domain, and where the label-space relations between the two domains are allowed to be different and unknown. We term such a setting as Universal Black-Box Domain Adaptation (UB$^2$DA). The great promise that UB$^2$DA makes, however, brings significant learning challenges, since domain adaptation can only rely on the predictions of unlabeled target data in a partially overlapped label space, by accessing the interface of source model. To tackle the challenges, we first note that the learning task can be converted as two subtasks of in-class\footnote{In this paper we use in-class (out-class) to describe the classes observed (not observed) in the source black-box model.} discrimination and out-class detection, which can be respectively learned by model distillation and entropy separation. We propose to unify them into a self-training framework, regularized by consistency of predictions in local neighborhoods of target samples. Our framework is simple, robust, and easy to be optimized. Experiments on domain adaptation benchmarks show its efficacy. Notably, by accessing the interface of source model only, our framework outperforms existing methods of universal domain adaptation that make use of source data and/or source models, with a newly proposed (and arguably more reasonable) metric of H-score, and performs on par with them with the metric of averaged class accuracy.

研究の動機と目的

• ソースデータやモデル重みが入手不可であるが、ソースモデルのインターフェースのみが利用可能な現実的課題に、領域適応を適用すること。
• ターゲットラベル空間が未知で、ソースとは一部重複しない可能性がある状況においても、堅牢な適応を可能にすること。
• ソースデータやモデルアーキテクチャに依存せずに、クラス内識別と分布外検出の両方を実行できる手法を開発すること。
• 完全なソースデータへのアクセスを必要としないブラックボックスモデルが、優れた性能を示すことを実証すること。

提案手法

• UB²DAタスクを2つのサブタスクに分解する：ソースモデルの予測から知識蒸留によるクラス内識別。
• クラス外検出は、ターゲット予測のエントロピー分離に基づいて訓練されたバイナリ分類器を用いて実現。
• 自己教師学習フレームワークにより、ターゲットモデルの予測から得られる疑似ラベルを活用して、両サブタスクを統合。
• 局所的近傍におけるターゲットサンプルの予測の一貫性を正則化することで、学習の安定化と一般化性能の向上を図る。
• 交差エントロピー損失（クラス内分類用）とエントロピーに基づく損失（クラス外検出用）を統合したジョイント損失を用いて、エンドツーエンドで最適化。
• アーキテクチャに依存せず、ソースモデルの順伝播出力のみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 ソースデータやモデル重みへのアクセスがなく、唯一事前学習済みソースモデルのインターフェースのみが利用可能な状況でも、効果的な領域適応が達成可能か？
• RQ2 ターゲットラベル空間が未知で、ソースとは一部重複しない状況において、モデルは分布外サンプルをどのように検出できるか？
• RQ3 局所的一貫性正則化を施した自己教師学習フレームワークは、ブラックボックス環境下でクラス内識別とクラス外検出を効果的に統合できるか？
• RQ4 ブラックボックス適応手法は、Hスコアと平均クラス精度の両面で、非ブラックボックスSOTA手法を上回る性能を示すか？

主な発見

• 提案手法UB²DAは、複数のベンチマークでHスコアという指標において、非ブラックボックスSOTA手法を上回り、優れた一般化性能と耐障害性を示した。
• Office31データセットでは、ResNet18で91.3% ± 0.2、ResNet34で91.1% ± 0.3、ResNet50で91.7% ± 0.1の平均精度を達成し、異なるバックボーンでも高い性能を示した。
• ハイパーパramータの変動に対して安定しており、ρ、β、Mの広い範囲において性能低下が最小限に抑えられており、実装の容易さと安定性を示した。
• 実験結果から、ソースデータやモデルパラメータを一切使用しないにもかかわらず、平均クラス精度において非ブラックボックスSOTA手法と同等の性能を達成した。
• アブレーションスタディの結果、クラス内蒸留とエントロピーに基づくクラス外検出の両方が、最終的な性能向上に顕著な寄与をしていることが確認された。