[論文レビュー] Cycle-consistent Conditional Adversarial Transfer Networks

Jingjing Li, Erpeng Chen+4 more|arXiv (Cornell University)|Sep 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 4

ひとこと要約

本稿では、2つの特徴変換器とサイクル整合性損失を導入することで、ドメイン間で不変な特徴を信頼性高く変換できるようにすることで、ドメイン適応を改善するサイクル整合性のある条件付き対抗的転送ネットワーク、3CATNを提案する。不正確な分類器予測による条件付き対抗的学習の不安定性に対処することで、古典的および大規模なベンチマークにおいて、先行手法を顕著に上回る最先端の性能を達成する。

ABSTRACT

Domain adaptation investigates the problem of cross-domain knowledge transfer where the labeled source domain and unlabeled target domain have distinctive data distributions. Recently, adversarial training have been successfully applied to domain adaptation and achieved state-of-the-art performance. However, there is still a fatal weakness existing in current adversarial models which is raised from the equilibrium challenge of adversarial training. Specifically, although most of existing methods are able to confuse the domain discriminator, they cannot guarantee that the source domain and target domain are sufficiently similar. In this paper, we propose a novel approach named {\it cycle-consistent conditional adversarial transfer networks} (3CATN) to handle this issue. Our approach takes care of the domain alignment by leveraging adversarial training. Specifically, we condition the adversarial networks with the cross-covariance of learned features and classifier predictions to capture the multimodal structures of data distributions. However, since the classifier predictions are not certainty information, a strong condition with the predictions is risky when the predictions are not accurate. We, therefore, further propose that the truly domain-invariant features should be able to be translated from one domain to the other. To this end, we introduce two feature translation losses and one cycle-consistent loss into the conditional adversarial domain adaptation networks. Extensive experiments on both classical and large-scale datasets verify that our model is able to outperform previous state-of-the-arts with significant improvements.

研究の動機と目的

• 不正確な分類器予測によって引き起こされる条件付き対抗的ドメイン適応の不安定性を解消すること。
• ソースドメインとターゲットドメインの間で、真にドメイン不変な特徴が信頼性高く変換可能であることを保証すること。
• サイクル整合性のある特徴変換制約を組み込むことで、ドメイン整合性を向上させること。
• 既存の最先端手法を凌駕する、対抗的ドメイン適応の堅牢性と性能を向上させること。
• 不確実な分類器条件からの誤差伝搬を低減するための特徴変換器とサイクル整合性損失の有効性を検証すること。

提案手法

• ドメイン識別器が学習済み特徴と分類器予測の両方に条件付けられた条件付き対抗的学習を採用し、マルチモーダルなデータ構造を捉える。
• ソースからターゲット、およびその逆方向への特徴変換を可能にする2つの独立した特徴変換器を導入し、ドメイン不変表現の双方向変換を実現する。
• 特徴をソースからターゲットに変換し、再び元の特徴に再構成できるようにするため、サイクル整合性損失を適用する。
• 分類損失、条件付き対抗損失、特徴変換損失、およびサイクル整合性損失を組み合わせたエンドツーエンドの学習によりモデルを訓練する。
• λ=1、β=1、η₁=0.01、η₂=0.1といったハイパーパrameterを用い、感度分析によりパrameterの変動に対しても安定性が確認された。
• Office-Home、DomainNet、VisDA-2017を含む複数のドメイン適応ベンチマークでフレームワークを評価した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン間での特徴変換は、ドメイン適応における条件付き対抗的学習の信頼性を向上させることができるか？
• RQ2 特徴変換におけるサイクル整合性の強制は、より安定的かつ正確なドメイン不変表現をもたらすか？
• RQ3 提案手法は、条件付きドメイン適応における不正確な分類器予測によって引き起こされる性能低下をどのように緩和するか？
• RQ4 特徴変換器とサイクル整合性損失は、既存の最先端手法に比べて性能向上にどの程度寄与するか？
• RQ5 提案された3CATNフレームワークは、実世界のドメイン適応シナリオにおけるハイパーパrameterの変動に対して頑健か？

主な発見

• D→AおよびW→Aのベンチマークでは、それぞれ73.1%および71.5%の精度を達成し、以前のSOTA手法であるCDANを顕著に上回った。
• アブレーションスタディの結果、特徴変換損失を追加することで、D→Aでは0.9%、W→Aでは1.2%の性能向上が確認された。
• サイクル整合性損失はW→Aで1.2%の精度向上をもたらし、特徴の整合性を保つ有効性を示した。
• 定性的な分析では、W→AでCDANが誤分類した163サンプルを3CATNが正しく分類しており、CDANが正しく分類したすべてのサンプルに対しても高い性能を維持した。
• モデルは安定した学習行動を示し、10,000イテレーション以内に収束した。特にβおよびη₁、η₂に対してハイパーパrameterの変動に強く、頑健であった。
• 条件付き転送損失（S4）を削除すると、D→Aでは67.5%、W→Aでは66.9%に低下し、条件付き監視の必要性が確認された。