[論文レビュー] Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation

Shuang Li, Fangrui Lv+4 more|arXiv (Cornell University)|Dec 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 5

ひとこと要約

本稿では、二つのバイクラスファイアの予測の不一致を測る指標である分類器決定性不一致（CDD）を導入することで、特徴の判別能を向上させる、新しい非教師ありドメイン適応手法であるバイ・クラスファイア決定性最大化（BCDM）を提案する。BCDMはCDDを交互に最大化および最小化することで、信頼性の高い一貫性のある予測と多様で判別力のある表現を促進し、画像分類ベンチマークでSOTA性能を達成し、最大1.4%の精度向上を実現した。

ABSTRACT

Unsupervised domain adaptation challenges the problem of transferring knowledge from a well-labelled source domain to an unlabelled target domain. Recently,adversarial learning with bi-classifier has been proven effective in pushing cross-domain distributions close. Prior approaches typically leverage the disagreement between bi-classifier to learn transferable representations, however, they often neglect the classifier determinacy in the target domain, which could result in a lack of feature discriminability. In this paper, we present a simple yet effective method, namely Bi-Classifier Determinacy Maximization(BCDM), to tackle this problem. Motivated by the observation that target samples cannot always be separated distinctly by the decision boundary, here in the proposed BCDM, we design a novel classifier determinacy disparity (CDD) metric, which formulates classifier discrepancy as the class relevance of distinct target predictions and implicitly introduces constraint on the target feature discriminability. To this end, the BCDM can generate discriminative representations by encouraging target predictive outputs to be consistent and determined, meanwhile, preserve the diversity of predictions in an adversarial manner. Furthermore, the properties of CDD as well as the theoretical guarantees of BCDM's generalization bound are both elaborated. Extensive experiments show that BCDM compares favorably against the existing state-of-the-art domain adaptation methods.

研究の動機と目的

• ターゲットドメインの予測における分類器の決定性の欠如が、非教師ありドメイン適応における特徴の判別能を損なうという問題に取り組む。
• 予測の確実性を強制できない既存の二クラス分類器差異損失（例：ℓ₁）の限界を克服する。
• 不一致した予測におけるクラスの関連性を捉える指標を構築し、表現品質を向上させる。
• 交互にCDD損失を最大化および最小化する訓練戦略を提案し、より優れた敵対的特徴学習を実現する。
• BCDMのターゲットドメインにおける一般化性能に対する理論的裏付けを提供する。

提案手法

• 二つのバイクラス分類器が異なるクラスに対して出力する予測の積の和として定義される分類器決定性不一致（CDD）を導入し、予測の不一致を定量化する。
• 二段階の訓練戦略を設計：まずCDDを最大化して出力空間の多様性を促進し、次にCDDを最小化して一貫性があり信頼性の高い予測を強制する。
• CDDを損失関数として用い、二つのバイクラス分類器システムを敵対的に最適化することで、ターゲット予測における多様性と決定性の両立を促進する。
• 既存手法（例：STAR）にCDDをプラグインモジュールとして適用し、その互換性と有効性を示した。
• BCDMの一般化境界を理論的に分析し、ドメインシフトに対してより高いロバストネスを示すことを示した。
• アブレーション実験には3層の全結合ネットワーク、本番実験にはResNet-50を用い、性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 二クラス分類器の不一致におけるクラス関連性を捉える指標が、非教師ありドメイン適応における特徴の判別能を向上させ得るか？
• RQ2 CDD損失を用いて分類器の決定性を強制することで、ターゲットドメインでの予測がより確信的かつ一貫性を持つようになるか？
• RQ3 提案されたCDDに基づく訓練戦略は、標準的な差異損失（例：ℓ₁やSWD）を上回り、ドメイン整合性と精度を向上させ得るか？
• RQ4 CDD指標は敵対的訓練プロセスの収束性および安定性にどのように影響を与えるか？
• RQ5 BCDMのターゲットドメインにおける一般化性能に対する理論的裏付けは何か？

主な発見

• Office-31データセットではBCDMが平均89.2%の精度を達成し、ベースラインのSTAR手法を1.4%上回った。
• VisDA-2017ベンチマークではBCDMがターゲット予測の不確実性を低減し、90%以上の予測が信頼度0.9以上であったのに対し、MCDでは信頼度が低かった。
• BCDMの代理指標である𝒜距離は、比較対象の全手法の中で最小であり、ドメインの乖離が小さいことを示した。
• SVD解析により、BCDMはより情報量の多い特徴値を保持しており、特徴の判別能が強いことが示された。
• t-SNE可視化により、BCDMはMCD や SWD とは異なり、ターゲットドメインにおいて明確で分離されたクラス境界を維持していることが確認された。
• BCDMは競合手法よりも収束が早く、より低いテスト誤差を達成しており、訓練の安定性と効率性が向上していることが示された。