[論文レビュー] Reusing the Task-specific Classifier as a Discriminator: Discriminator-free Adversarial Domain Adaptation

Lin Chen, Huaian Chen+5 more|arXiv (Cornell University)|Apr 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本稿では、タスク固有の分類器を新たな核ノルム Wasserstein 損失（NWD）を用いて識別器として再利用することで、識別器を不要とする敵対的ドメイン適応フレームワーク、DALN を提案する。単一の目的関数の下でドメイン整合性とカテゴリ識別性を統合的に最適化することで、追加の学習部品が不要でありながら、優れた特徴整合性と予測信頼性を達成し、複数のベンチマークで最先端手法を上回る性能を発揮する。

ABSTRACT

Adversarial learning has achieved remarkable performances for unsupervised domain adaptation (UDA). Existing adversarial UDA methods typically adopt an additional discriminator to play the min-max game with a feature extractor. However, most of these methods failed to effectively leverage the predicted discriminative information, and thus cause mode collapse for generator. In this work, we address this problem from a different perspective and design a simple yet effective adversarial paradigm in the form of a discriminator-free adversarial learning network (DALN), wherein the category classifier is reused as a discriminator, which achieves explicit domain alignment and category distinguishment through a unified objective, enabling the DALN to leverage the predicted discriminative information for sufficient feature alignment. Basically, we introduce a Nuclear-norm Wasserstein discrepancy (NWD) that has definite guidance meaning for performing discrimination. Such NWD can be coupled with the classifier to serve as a discriminator satisfying the K-Lipschitz constraint without the requirements of additional weight clipping or gradient penalty strategy. Without bells and whistles, DALN compares favorably against the existing state-of-the-art (SOTA) methods on a variety of public datasets. Moreover, as a plug-and-play technique, NWD can be directly used as a generic regularizer to benefit existing UDA algorithms. Code is available at https://github.com/xiaoachen98/DALN.

研究の動機と目的

• 既存の敵対的ドメイン適応手法が特徴の識別的情報を無視するか、特徴整合性が不十分なためにモード崩壊を引き起こすという限界を是正すること。
• 追加の識別器ネットワークを導入することなく、既存のタスク固有の分類器を識別器として再利用することで、モデル構造を簡素化すること。
• ドメイン整合性を明確にガイドする新たな損失関数、核ノルム Wasserstein 損失（NWD）を設計すること。
• 統一された目的関数により、ドメイン不変表現学習と高品質な分類を同時に達成すること。
• 提案された NWD が、アーキテクチャの変更なしに既存の UDA モデルを強化できる汎用正則化子として機能することを実証すること。

提案手法

• 外部の識別器ネットワークを不要とする、タスク固有の分類器を識別器として再利用する新しい敵対的枠組みを提案する。
• 核ノルムと 1-Wasserstein 距離を組み合わせた、予測の決定性と多様性を促進する損失関数である核ノルム Wasserstein 損失（NWD）を導入する。
• 教師ありのソースデータでの学習に起因し、NWD は自然にソースドメインのサンプルに対して高いスコア、ターゲットドメインのサンプルに対して低いスコアを割り当て、強力な識別ガイドラインを提供する。
• 重みクリッピングや勾配ペナルティを必要とせず、K-Lipschitz 制約を保証するため、学習安定性が向上する。
• NWD を分類器の損失関数に統合し、ドメイン整合性とカテゴリ識別性を統一的な目的関数で同時に最適化する。
• プラグアンドプレイ設計を採用：NWD は DANN や MDD などの既存の UDA モデルにアーキテクチャの変更なしに直接正則化子として適用可能である。

実験結果

リサーチクエスチョン

• RQ1 追加のネットワークを導入せずに、タスク固有の分類器を敵対的ドメイン適応において識別器として効果的に再利用できるか。
• RQ2 教師ありのソースラベルから得られる内生的ガイドラインを持つ損失関数（例：NWD）は、ドメイン整合性とカテゴリ識別性の両方を向上させ得るか。
• RQ3 提案された核ノルム Wasserstein 損失（NWD）は、重みクリッピングや勾配ペナルティなしに K-Lipschitz 制約を満たすことができるか。
• RQ4 ドメイン整合性と分類の最適化を統一的に行うことで、一般化性能が向上し、モード崩壊がどの程度軽減されるか。
• RQ5 NWD は、既存の最先端 UDA モデルの性能を向上させる汎用正則化子として利用可能か。

主な発見

• 提案された DALN モデルは、Office-31 や Office-Home などの複数の公開ベンチマークで、追加の部品なしに最先端手法を上回る性能を発揮する。
• 混同行列の結果、DALN は対角成分の値が著しく高く、クラスごとの予測精度が向上し、誤分類が減少していることが示された。
• 正しく分類されたサンプルにおける高信頼度予測（確率 > 0.9）の割合が、ソースオンリーモデル、DANN、MDD と比較して大幅に増加した。
• DALN は特にリソースが限られたカテゴリにおいても、予測の多様性を向上させ、不足しているクラスのサンプルをより多く正しく分類している。
• t-SNE の可視化結果から、DANN や MDD と比較して、DALN はより緊密なクラス内クラスタとより明確に分離されたクラス間分布を学習していることが確認された。
• NWD を DANN や MDD に正則化子として適用した場合、両モデルともクラス内クラスタの緊密さとクラス間分離度が向上しており、NWD の汎用性が裏付けられた。