[論文レビュー] Curriculum based Dropout Discriminator for Domain Adaptation

Vinod K Kurmi, Vipul Bajaj+2 more|arXiv (Cornell University)|Jul 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 8

ひとこと要約

本稿では、ドメイン適応のための新しい手法であるCurriculum-based Dropout Discriminator (C$\text{D}^{3}$A) を提案する。この手法は、モンテカルロドロップアウトを用いて分布ベースのディスクラミネーターを生成し、モデルパラメータの増加なしに、ソースドメインとターゲットドメイン間の特徴の整合性を向上させる。このアプローチにより、Amazon-DSLRで5.3%の精度向上を達成し、MADAと比較して顕著に少ないパラメータ数で最先端の性能を実現した。

ABSTRACT

Domain adaptation is essential to enable wide usage of deep learning based networks trained using large labeled datasets. Adversarial learning based techniques have shown their utility towards solving this problem using a discriminator that ensures source and target distributions are close. However, here we suggest that rather than using a point estimate, it would be useful if a distribution based discriminator could be used to bridge this gap. This could be achieved using multiple classifiers or using traditional ensemble methods. In contrast, we suggest that a Monte Carlo dropout based ensemble discriminator could suffice to obtain the distribution based discriminator. Specifically, we propose a curriculum based dropout discriminator that gradually increases the variance of the sample based distribution and the corresponding reverse gradients are used to align the source and target feature representations. The detailed results and thorough ablation analysis show that our model outperforms state-of-the-art results.

研究の動機と目的

• 敵対的ドメイン適応におけるポイント推定ディスクラミネーターの限界を克服するため、分布ベースのディスクラミネーターを導入すること。
• 特に大規模クラスデータセットにおいて顕著なパラメータ数の線形的増加を引き起こすMADAのようなクラス固有のディスクラミネーターにおける、モデルの複雑さとスケーラビリティの問題を軽減すること。
• ドロップアウトをアンサンブル学習の形として用いて、ドメイン間での特徴表現の不変性を向上させること。
• 多様なドメイン適応ベンチマークで性能を維持しつつ、スケーラブルでパラメータ効率の良い手法を開発すること。

提案手法

• 本手法は、モンテカルロドロップアウトを用いてディスクラミネーターのアンサンブルを生成し、特徴抽出器の学習に分布ベースのフィードバックを提供する。
• カリキュラム学習戦略により、訓練中に段階的にドロップアウトサンプル数を増やし、適応の安定性と性能を向上させる。
• ディスクラミネーターは、ソース特徴とターゲット特徴を区別するように敵対的に訓練され、特徴抽出器はそれを欺くように最適化され、ドメイン不変の表現を促進する。
• MADAのようなクラス固有の手法とは異なり、1つのディスクラミネーター・ネットワークにドロップアウトを適用することで、パラメータ数の線形的増加を回避する。
• ドロップアウトに基づくアンサンブルからの逆誤差勾配を用いて、ソースとターゲットの特徴分布の整合性をより強固に実現する。
• ラベル付きソースデータに対する分類損失と、ドロップアウトに基づくディスクラミネーターからの敵対的損失を組み合わせ、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロドロップアウトから導出される分布ベースのディスクラミネーターは、ポイント推定ディスクラミネーターと比較してドメイン適応の性能を向上させることができるか？
• RQ2 ドロップアウトサンプリングにカリキュラム学習を適用することで、特徴表現の整合性とモデルの安定性が向上するか？
• RQ3 MADA や GRL といった最先端の手法と比較して、提案手法の性能とパラメータ効率はどの程度か？
• RQ4 プロキシ $\mathcal{A}$-距離で測定した場合、モデルはどの程度ドメインの乖離を低減するか？
• RQ5 複数のドメイン適応ベンチマークにおいて、性能の向上が統計的に有意であるか？

主な発見

• C$\text{D}^{3}$Aは、ベースラインのGRL手法と比較して、Amazon-DSLRのドメイン適応タスクで5.3%の精度向上を達成した。
• プロキシ $\mathcal{A}$-距離の観点から、C$\text{D}^{3}$Aはソースオンリー、GRL、MADAのベースラインと比較して、より効果的にドメイン乖離を低減した。
• C$\text{D}^{3}$Aは、Office-31データセットでわずか約5900万パラメータで最先端の性能を達成したが、MADAの約9800万パラメータと比較して顕著に少ない。
• モデルの性能は、ある訓練エポック数に達した後で飽和し、D$\text{D}^{3}$Aとは異なり、過剰なサンプリングによる劣化を示さない。
• 統計的有意性の検定により、C$\text{D}^{3}$AはGRLおよびソースオンリーのベースラインを0.05の有意水準で上回ることが確認された。
• t-SNEの可視化結果から、C$\text{D}^{3}$Aで適応された特徴は、GRLで適応された特徴と比較して、よりドメイン不変であることが確認され、特徴の整合性が向上していることが裏付けられた。