[論文レビュー] A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation

Jian Liang, Yunbo Wang+3 more|arXiv (Cornell University)|Mar 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 5

ひとこと要約

本稿では、負の転送と不確実性の伝播を解消するため、バランス型対抗アライメント（BAA）と適応的不確実性抑制（AUS）を用いる、部分的ドメイン適応のための新規なドメイン適応手法BA3USを提案する。BAAは、サンプリングされたソースデータをターゲットドメインに追加することで、ラベル分布のバランスをとる。一方、AUSは信頼度重み付き補集合エントロピー目的関数を用い、誤ったクラスに対する高い予測スコアを抑制することで、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

This work addresses the unsupervised domain adaptation problem, especially in the case of class labels in the target domain being only a subset of those in the source domain. Such a partial transfer setting is realistic but challenging and existing methods always suffer from two key problems, negative transfer and uncertainty propagation. In this paper, we build on domain adversarial learning and propose a novel domain adaptation method BA$^3$US with two new techniques termed Balanced Adversarial Alignment (BAA) and Adaptive Uncertainty Suppression (AUS), respectively. On one hand, negative transfer results in misclassification of target samples to the classes only present in the source domain. To address this issue, BAA pursues the balance between label distributions across domains in a fairly simple manner. Specifically, it randomly leverages a few source samples to augment the smaller target domain during domain alignment so that classes in different domains are symmetric. On the other hand, a source sample would be denoted as uncertain if there is an incorrect class that has a relatively high prediction score, and such uncertainty easily propagates to unlabeled target data around it during alignment, which severely deteriorates adaptation performance. Thus we present AUS that emphasizes uncertain samples and exploits an adaptive weighted complement entropy objective to encourage incorrect classes to have uniform and low prediction scores. Experimental results on multiple benchmarks demonstrate our BA$^3$US surpasses state-of-the-arts for partial domain adaptation tasks. Code is available at \url{https://github.com/tim-learn/BA3US}.

研究の動機と目的

• ソース専用クラスがターゲットドメインのアライメントを誤導する部分的ドメイン適応における負の転送の課題に対処すること。
• ソースデータにおける誤ったクラスに対する高い予測スコアがドメインアライメントを劣化させる不確実性の伝播を軽減すること。
• ターゲットドメインの拡張により、部分的ドメイン適応問題をより取り扱いやすい教師なしドメイン適応問題に変換すること。
• ラベル分布のバランスと不確実性抑制の両方を同時に最適化することで、モデルのロバスト性と精度を向上させること。

提案手法

• BAAは、敵対的学習中に、ターゲットドメインの小さい方のクラスにソースサンプルをランダムにサンプリングして追加することで、ドメイン間で対称的なクラス表現を確保する。
• AUSは、不確実なサンプル（低信頼度）に重点を置き、誤ったクラスに対して均一で低い予測スコアを促進する、適応的重み付き補集合エントロピー損失を導入する。
• この手法は、勾配反転を用いてドメインアライメントを実現するドメイン敵対的ネットワークに基づく統合フレームワークに組み込む。
• クラスレベルの重み付けにより、ソース専用クラスをフィルタリングし、共有クラスに焦点を当てた適応を実現する。
• モデルは、予測信頼度に応じて動的に調整される信頼度重み付き補集合エントロピー目的関数を用い、不確実性の伝播を抑制する。
• トレーニングは、適応的サンプリングレートρと、一般化とアライメントの向上を目的とした、定期的なクラス重みmの再推定を伴う反復的最適化を含む。

実験結果

リサーチクエスチョン

• RQ1 少数のソースサンプルをターゲットドメインに追加することで、ラベル分布のバランスが図られ、部分的ドメイン適応における負の転送が効果的に軽減されるか。
• RQ2 誤ったクラスに対する高い予測スコアがドメインアライメントに与える影響は何か。また、その影響は抑制可能か。
• RQ3 低信頼度サンプルに重点を置く適応的補集合エントロピー目的関数は、部分的ドメイン適応における一般化性能の向上に寄与するか。
• RQ4 提案手法は、Office-HomeやOffice31といった標準的な部分的ドメイン適応ベンチマークで最先端の性能を達成できるか。
• RQ5 不確実性抑制機構は、部分的ドメイン適応を超えて、標準的なクローズドセットドメイン適応にも有効に機能するか。

主な発見

• BA3USは、Office-HomeおよびOffice31ベンチマークで最先端の性能を達成し、Office31データセットにおけるAr→Clで75.98%、A→Dで97.81%の精度を達成した。
• ハイパーパrameterの選択に対して頑健であり、βおよびξの異なる値に対しても安定した性能を示し、感度が低いことが示された。
• 適応的補集合エントロピー目的関数は、標準的な補集合エントロピー（ξ=0）よりも0.4–0.5%高い精度を達成し、その有効性が裏付けられた。
• t-SNE可視化では、BA3USがベースライン手法と比較して、より判別力がありドメインに整合性のある特徴を生成していることが示された。
• 収束解析により、BA3USは速やかに収束し、特に1,000イテレーション以降においてE-DANNおよび「ソースのみ」ベースラインを上回ることが確認された。
• 既存の最先端手法に比べて顕著な向上を示し、困難な部分的ドメイン適応タスクにおいて最大1.5%の向上を達成した。