[論文レビュー] Joint Domain Alignment and Discriminative Feature Learning for Unsupervised Deep Domain Adaptation

Chao Chen, Zhihong Chen+2 more|arXiv (Cornell University)|Aug 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 27

ひとこと要約

本稿では、ドメイン分布の整合性と特徴の判別性を同時に最適化する、新たな教師なし深層ドメイン適応フレームワークであるJoint Domain Alignment and Discriminative Feature Learning (JDDA) を提案する。インスタンスベースおよびセンター基地の判別損失をドメイン整合性に統合することで、より優れたドメイン不変表現が得られ、クラス内コンパクト性とクラス間分離性が向上し、ベンチマーク転移タスクにおける分類精度が顕著に向上する。

ABSTRACT

Recently, considerable effort has been devoted to deep domain adaptation in computer vision and machine learning communities. However, most of existing work only concentrates on learning shared feature representation by minimizing the distribution discrepancy across different domains. Due to the fact that all the domain alignment approaches can only reduce, but not remove the domain shift. Target domain samples distributed near the edge of the clusters, or far from their corresponding class centers are easily to be misclassified by the hyperplane learned from the source domain. To alleviate this issue, we propose to joint domain alignment and discriminative feature learning, which could benefit both domain alignment and final classification. Specifically, an instance-based discriminative feature learning method and a center-based discriminative feature learning method are proposed, both of which guarantee the domain invariant features with better intra-class compactness and inter-class separability. Extensive experiments show that learning the discriminative features in the shared feature space can significantly boost the performance of deep domain adaptation methods.

研究の動機と目的

• 既存のドメイン適応手法がドメインシフトを軽減するが、完全に除去しないという制限に対処する。
• 残存するドメイン差異に起因するクラスターエッジ付近やクラス中心から離れたターゲットサンプルの誤分類を軽減する。
• 共有特徴空間においてドメイン整合性と判別的特徴学習を共同最適化することで、転移性能を向上させる。
• 共有表現学習を通じて、ソースドメインのラベル情報を活用し、ターゲットドメイン特徴の判別性を間接的に向上させる。
• 整合された空間における判別的特徴が、教師なしドメイン適応下でよりロバストで一般化可能なモデルをもたらすことを示す。

提案手法

• 共有特徴空間における類似サンプル間の距離を最小化することでクラス内コンパクト性を促進するインスタンスベースの判別損失を提案する。
• 共有特徴空間におけるクラス中心同士の距離を最大化することでクラス間分離性を向上させるセンター基地の判別損失を導入する。
• 両方の判別損失をドメイン整合性損失（例：CORAL や MMD）と統合し、ドメイン不変性と特徴の判別性を共同最適化する。
• 共有エンコーダとドメイン固有のヘッドを備えたシアンサイトス型の深層ニューラルネットワークを訓練し、全損失関数をエンドツーエンドで最適化する。
• 学習可能なハイパーパrameterを備えたバランス損失関数を用い、ドメイン整合性損失、分類損失、判別損失を統合する。
• t-SNE可視化と収束解析を実施し、学習済み特徴の品質と学習ダイナミクスを検証する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン整合性と判別的特徴学習の共同最適化により、残存するドメインシフトが軽減され、分類精度が向上するか？
• RQ2 共有特徴空間におけるクラス内コンパクト性とクラス間分離性の強制が、ドメイン適応性能に与える影響は何か？
• RQ3 ソースドメインで学習された判別的特徴が、教師なし適応下でターゲットドメインにおいてもより判別性の高い特徴を生成するか？
• RQ4 ハイパーパramータの異なる設定が、ドメイン整合性と判別学習のトレードオフに与える影響は何か？
• RQ5 最先端のドメイン適応アプローチと比較して、提案手法の収束速度と安定性はどのように異なるか？

主な発見

• JDDAは、SVHN → MNIST や MNIST → MNIST-M といった標準ドメイン適応ベンチマークで最先端の性能を達成し、CORAL や MMD を用いたアプローチを上回る。
• t-SNE可視化により、JDDAはベースライン手法と比較して、より判別性の高い特徴を学習しており、クラス間ギャップが大きく、ドメイン整合性が良好であることが確認された。
• 収束曲線から、JDDAは特にセンター基地の判別損失を用いた場合、競合手法よりも速く収束し、より低いテスト誤差に到達することが示された。
• パラメータ感度分析により、判別損失の重みに関して性能がベル型曲線を示すことが判明し、整合性と判別性の最適なバランスがあることが示された。
• センター基地バージョン（JDDA-C）は、収束が早く、性能も優れていることから、グローバルクラスタ構造の認識が学習ダイナミクスを改善することが示唆された。
• アブレーションスタディにより、判別損失の追加が精度を顕著に向上させることを確認し、残存ドメインシフトを緩和する有効性が裏付けられた。