[論文レビュー] Active Learning for Domain Adaptation: An Energy-Based Approach

Binhui Xie, Longhui Yuan+4 more|arXiv (Cornell University)|Dec 2, 2021

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、エネルギーに基づくアクティブドメイン適応（EADA）を提案する。これは、未教師付きドメイン適応のための新しいアクティブラーニング手法であり、ソースドメインとターゲットドメイン間の自由エネルギー差を活用して、最も情報量の多いターゲットサンプルを選択する。ドメインの乖離（自由エネルギーを介して）とインスタンスの不確実性（MvSMスコアを介して）を組み合わせることで、EADAはVisDA-2017およびOffice-Homeベンチマークで最先端の性能を達成し、特化したアーキテクチャや距離計算を一切必要とせずに、先行手法よりも顕著な精度向上を実現した。

ABSTRACT

Unsupervised domain adaptation has recently emerged as an effective paradigm for generalizing deep neural networks to new target domains. However, there is still enormous potential to be tapped to reach the fully supervised performance. In this paper, we present a novel active learning strategy to assist knowledge transfer in the target domain, dubbed active domain adaptation. We start from an observation that energy-based models exhibit extit{free energy biases} when training (source) and test (target) data come from different distributions. Inspired by this inherent mechanism, we empirically reveal that a simple yet efficient energy-based sampling strategy sheds light on selecting the most valuable target samples than existing approaches requiring particular architectures or computation of the distances. Our algorithm, Energy-based Active Domain Adaptation (EADA), queries groups of target data that incorporate both domain characteristic and instance uncertainty into every selection round. Meanwhile, by aligning the free energy of target data compact around the source domain via a regularization term, domain gap can be implicitly diminished. Through extensive experiments, we show that EADA surpasses state-of-the-art methods on well-known challenging benchmarks with substantial improvements, making it a useful option in the open world. Code is available at https://github.com/BIT-DA/EADA.

研究の動機と目的

• 大規模なラベル付きターゲットデータに依存するのを減らすことにより、未教師付きドメイン適応と完全教師あり性能のギャップを埋めること。
• 複雑なアーキテクチャや距離計算を必要としない、効率的なアクティブラーニング戦略を開発することにより、最も情報量の多いターゲットサンプルを選択すること。
• ソースドメインとターゲットドメインの間の固有の自由エネルギーバイアスを、ドメイン乖離とアクティブサンプリングにおける不確実性の代理指標として活用すること。
• ターゲットの自由エネルギー分布をソースドメインの分布に合わせることで正則化することで、ドメインシフトを暗黙的に低減すること。

提案手法

• EADAは、ラベルなしターゲットサンプルの自由エネルギーをドメイン特徴の代理として用い、自由エネルギーがより高いサンプルをターゲット分布の代表とみなして選択する。
• 各ターゲットサンプルについて、最小エネルギーと第二小エネルギーの差（MvSMスコア）を計算し、モデルの不確実性を定量化し、曖昧なインスタンスを優先する。
• 正則化項を介してソースドメインとターゲットドメイン間の自由エネルギー差を最小化することで、ドメイン整合性と不確実性低減の両方を同時に最適化する。
• 反復的に、ドメインの代表性と予測の不確実性の両方をバランスにとったターゲットデータのバッチをクエリする選択プロセスを実施する。
• 標準的な深層ニューラルネットワークと互換性があり、ドメイン識別器やクラスタリングヘッドなどの追加コンponentを必要としない。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメイン間の自由エネルギー差は、アーキテクチャ依存のないアクティブサンプリングの有効な信号として機能するか？
• RQ2 ドメイン乖離とインスタンスの不確実性をどのように統合的にモデル化することで、ドメインシフト状況下でのアクティブラーニングの効率を向上させられるか？
• RQ3 複雑なアーキテクチャや距離指標に依存する既存手法よりも、単純なエネルギーに基づくサンプリング戦略が優れた性能を発揮できるか？
• RQ4 自由エネルギー正則化は、ドメインシフトをどれほど低減させ、アクティブドメイン適応におけるモデル一般化性能を向上させられるか？

主な発見

• EADAはVisDA-2017ベンチマークで最先端の性能を達成し、既存のアクティブドメイン適応手法を顕著に上回った。
• Office-Homeデータセットでは、EADAは『Source Only』ベースラインを大きく上回り、完全教師あり学習の性能に近づいた。
• ソースドメインとターゲットドメインの自由エネルギー分布を一致させることでドメインギャップを低減したことが、分布プロットの類似性から裏付けられた。
• EADAはランダムサンプリングや他のアクティブラーニングベースラインよりも顕著な改善を示し、エネルギーに基づく選択戦略の有効性を実証した。
• アブレーションスタディにより、自由エネルギーとMvSMの両方のコンponentが性能向上に顕著に寄与していることが確認され、二重目的設計の妥当性が裏付けられた。