[論文レビュー] Bayesian Uncertainty Matching for Unsupervised Domain Adaptation

Jun Wen, Nenggan Zheng+3 more|arXiv (Cornell University)|Jun 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 9

ひとこと要約

本稿では、ベイジアンニューラルネットワークを用いた予測不確実性モデリングにより、特徴量とラベルの分布を同時に一致させることで、教師なしドメイン適応のためのベイジアン不確実性マッチング（BUM）を提案する。ソースドメインとターゲットドメイン間の不確実性の乖離を最小化することで、条件付き分布シフトとネガティブトランスファーを低減し、Office-31およびOffice-Homeベンチマークにおいて、精度と耐性の両面で最先端手法を上回る一貫した性能向上を達成する。

ABSTRACT

Domain adaptation is an important technique to alleviate performance degradation caused by domain shift, e.g., when training and test data come from different domains. Most existing deep adaptation methods focus on reducing domain shift by matching marginal feature distributions through deep transformations on the input features, due to the unavailability of target domain labels. We show that domain shift may still exist via label distribution shift at the classifier, thus deteriorating model performances. To alleviate this issue, we propose an approximate joint distribution matching scheme by exploiting prediction uncertainty. Specifically, we use a Bayesian neural network to quantify prediction uncertainty of a classifier. By imposing distribution matching on both features and labels (via uncertainty), label distribution mismatching in source and target data is effectively alleviated, encouraging the classifier to produce consistent predictions across domains. We also propose a few techniques to improve our method by adaptively reweighting domain adaptation loss to achieve nontrivial distribution matching and stable training. Comparisons with state of the art unsupervised domain adaptation methods on three popular benchmark datasets demonstrate the superiority of our approach, especially on the effectiveness of alleviating negative transfer.

研究の動機と目的

• 既存の教師なしドメイン適応手法が周辺特徴分布の一致にのみ焦点を当てており、分類器におけるラベル分布シフトを無視するという限界に対処すること。
• ソースデータで訓練された偏った分類器がターゲットドメインに適用されることで生じる条件付き分布シフトを低減すること。
• 特徴量とラベルの分布を同時にマッチングすることで、ドメイン適応における一般化性能の向上とネガティブトランスファーの軽減を図ること。
• ターゲットラベルが入手不可能な状況下で、予測不確実性をラベル分布マッチングの代理として活用する手法を開発すること。
• ドメイン適応損失の適応的再重み付けを通じて、安定した学習と効果的なドメインマッチングを実現すること。

提案手法

• 予測不確実性をモデリングするベイジアンニューラルネットワーク（BNN）を用い、これは条件付き分布 P(Y|Gϕ(X)) の代理として機能する。
• ソースドメインとターゲットドメイン間の不確実性乖離を最小化することで、特徴量と予測の結合分布を一致させる。
• ドメイン間で特徴分布の乖離と予測不確実性の乖離の両方を最小化する統合最適化目的関数を定式化する。
• 学習の安定性を高め、分布マッチングを強化するために、ドメイン適応損失の適応的再重み付けを適用する。
• 再訓練を必要とせずに不確実性を推定できるよう、BNNにおけるモンテカルロドロップアウトを用いた近似的なベイジアン推論を実装する。
• t-SNEを用いた可視化により、意思決定境界付近での誤分類が減少し、より良い特徴量と不確実性のマッチングが実現されていることを確認する。

実験結果

リサーチクエスチョン

• RQ1 予測不確実性は、教師なしドメイン適応においてラベル分布マッチングの有効な代理として機能できるか？
• RQ2 特徴量と不確実性の分布を同時にマッチングすることで、分類器における条件付き分布シフトが低減されるか？
• RQ3 ソースドメインとターゲットドメインのラベル分布が著しく異なる場合、不確実性マッチングはネガティブトランスファーを緩和できるか？
• RQ4 精度と耐性の観点から、不確実性マッチングは周辺特徴分布マッチングと比較して優れているか？
• RQ5 適応的損失再重み付けは、不確実性に基づくドメイン適応における学習の安定性とドメインマッチングを向上させられるか？

主な発見

• Office-31データセットでは、31→25タスクで73.4%の精度、25→25(+6)タスクで74.6%の精度を達成し、DANNやMADAを上回った。
• 31→25タスクにおいてはDANNがネガティブトランスファーを示したが、BUMはこれを効果的に緩和し、64.9%の精度を示した。
• Office-Homeでは、31→25タスクで76.5%、25→25(+6)タスクで74.8%の精度を達成し、多様なドメインにわたる強力な一般化性能を示した。
• BUMは、ソースとターゲットの予測不確実性の乖離を顕著に低減し、テスト精度の向上と安定した収束と相関した。
• t-SNE可視化により、BUMは意思決定境界付近での誤分類を減少させ、特徴量と不確実性のマッチングが向上していることが確認された。
• 損失の適応的再重み付けにより、学習の安定性が向上し、特にノイズが多いまたは不均衡な状況下でも結合分布マッチングが強化された。