[論文レビュー] Mind the Class Weight Bias: Weighted Maximum Mean Discrepancy for Unsupervised Domain Adaptation

Hongliang Yan, Yukang Ding+4 more|arXiv (Cornell University)|May 1, 2017

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 78

ひとこと要約

この論文は、クラス重みバイアスを標準的な MMD の無監督ドメイン適応の制限として特定し、分類 EM (CEM) スキームを用いてクラス別にソースデータを再加重する Weighted MMD (WMMD) を提案し、WDAN モデルを実現して複数の CNN アーキテクチャとデータセットでドメイン不変表現を改善します。

ABSTRACT

In domain adaptation, maximum mean discrepancy (MMD) has been widely adopted as a discrepancy metric between the distributions of source and target domains. However, existing MMD-based domain adaptation methods generally ignore the changes of class prior distributions, i.e., class weight bias across domains. This remains an open problem but ubiquitous for domain adaptation, which can be caused by changes in sample selection criteria and application scenarios. We show that MMD cannot account for class weight bias and results in degraded domain adaptation performance. To address this issue, a weighted MMD model is proposed in this paper. Specifically, we introduce class-specific auxiliary weights into the original MMD for exploiting the class prior probability on source and target domains, whose challenge lies in the fact that the class label in target domain is unavailable. To account for it, our proposed weighted MMD model is defined by introducing an auxiliary weight for each class in the source domain, and a classification EM algorithm is suggested by alternating between assigning the pseudo-labels, estimating auxiliary weights and updating model parameters. Extensive experiments demonstrate the superiority of our weighted MMD over conventional MMD for domain adaptation.

研究の動機と目的

• ドメイン間のクラス事前分布の差異（クラス重みバイアス）が MMD ベースの DA を劣化させる要因であることを強調する。
• ターゲットのクラス事前分布に合わせてクラスごとにソースデータを再重み付けするよう WMMD を導入する。
• WMMD を CNN に統合した WDAN フレームワークを開発し、無監督ドメイン適応を実現する。
• ミニバッチ CNN 訓練に適した効率的な線形時間 WMMD 推定器を提供する。
• 複数のベンチマークとアーキテクチャで標準 MMD ベースの DA 手法より実証的な改善を示す。

提案手法

• ソースドメインとターゲットドメインのクラス加重分布を定義し、WMMD を重み付き平均埋め込みのずれ（Eq. 8）として導出する。
• ソースクラスごとの補助クラス重みを導入し、ターゲットデータの疑似ラベル付けと重みの更新を交互に行う Classification EM (CEM) 手続き（E ステップ、C ステップ、M ステップ）で推定する。
• WMMD を高次 CNN 層全体で正則化項として組み込み、ソース/ターゲット損失と WMMD 項を組み合わせた WDAN 目的関数（Eq. 11）を得る。
• バイアスのない線形時間 MMD 近似（Eq. 4, 5）を WMMD（Eq. 9, 10）に適合させ、効率的な勾配法最適化を可能にする。
• CEM を用いた訓練の概要：ターゲット後方確率を計算し、疑似ラベルを割り当て、補助重みを更新し、mini-batch SGD で W を最適化する（E ステップ、C ステップ、M ステップ）。
• 複数の CNN（AlexNet, GoogLeNet, VGG-16）およびデータセット（Office-10+Caltech-10, ImageCLEF, Digit Recognition, Office-31）に対して、WMMD を MMD ベースのベースラインと比較して実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン間のクラス重みバイアスは標準的な MMD ベースの無監督ドメイン適応を劣化させるのか。
• RQ2 クラス特異的補助重みの導入と CEM 訓練スキームがクラス重みバイアスの影響を緩和できるか。
• RQ3 提案された WMMD ベースの WDAN は、さまざまな CNN アーキテクチャとベンチマークで従来の MMD ベース手法よりドメイン不変表現と分類精度を改善するか。
• RQ4 異なるネットワーク層とハイパーパラメータ（例：lambda）および異なるクラスバイアスの程度で WDAN はどう機能するか。
• RQ5 WMMD はエンドツーエンドの CNN 訓練への組み込みに十分計算効率が高いか。

主な発見

• WMMD は複数の DA ベンチマークと CNN アーキテクチャで従来の MMD を上回り、クラス重みバイアスに対して頑健性を示す。
• WMMD を用いた WDAN モデルは、Office-10+Caltech-10、ImageCLEF、Digit Recognition、Office-31 で DAN および他のベースラインと比較して平均精度を向上させる。
• Classification EM 手順はターゲット後方確率と補助重みを効果的に推定し、WDAN 目的関数の安定した最適化を可能にする。
• 偏りのない線形時間 WMMD 近似により、ミニバッチ CNN 訓練へのスケーラブルな統合を実現する。
• 実証分析は WDAN の利得がクラス重みバイアスに対して頑健であり、WDAN 目的関数の適切なバランスパラメータ lambda に依存することを示す。