[論文レビュー] Opposite Structure Learning for Semi-supervised Domain Adaptation

Can Qin, Lichen Wang+4 more|arXiv (Cornell University)|Feb 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 20

ひとこと要約

本稿では、ドメイン適応のための半教師あり手法である、統一的相反構造（UODA）を提案する。この手法は、ソース特徴の拡張とターゲット特徴のクラスタリングを交互に実行することで、クロスドメインの分布を整合させる。ソースベースとターゲットベースの分類器を、逆形の損失関数で訓練することにより、意思決定境界の滑らかさとクラス間分離性を向上させ、DomainNetおよびOffice-Homeで最先端の性能を達成する。

ABSTRACT

Current adversarial adaptation methods attempt to align the cross-domain features whereas two challenges remain unsolved: 1) conditional distribution mismatch between different domains and 2) the bias of decision boundary towards the source domain. To solve these challenges, we propose a novel framework for semi-supervised domain adaptation by unifying the learning of opposite structures (UODA). UODA consists of a generator and two classifiers (i.e., the source-based and the target-based classifiers respectively) which are trained with opposite forms of losses for a unified object. The target-based classifier attempts to cluster the target features to improve intra-class density and enlarge inter-class divergence. Meanwhile, the source-based classifier is designed to scatter the source features to enhance the smoothness of decision boundary. Through the alternation of source-feature expansion and target-feature clustering procedures, the target features are well-enclosed within the dilated boundary of the corresponding source features. This strategy effectively makes the cross-domain features precisely aligned. To overcome the model collapse through training, we progressively update the measurement of distance and the feature representation on both domains via an adversarial training paradigm. Extensive experiments on the benchmarks of DomainNet and Office-home datasets demonstrate the effectiveness of our approach over the state-of-the-art method.

研究の動機と目的

• 半教師ありドメイン適応におけるソースドメインとターゲットドメイン間の条件付き分布の不一致を解消すること。
• ターゲット特徴のクラスタリングを改善することで、意思決定境界がソースドメインに偏るのを軽減すること。
• ソース特徴の拡張とターゲット特徴のクラスタリングを交互に実行することで、特徴統合を強化すること。
• 距離測定と特徴表現に対する段階的更新を通じて、敵対的訓練中のモデル崩壊を防止すること。
• 敵対的ドメイン統合に依存せずに、正確なクロスドメイン特徴統合を達成すること。

提案手法

• ソース特徴の分散を向上させることで意思決定境界の滑らかさを改善するソースベースの分類器と、ターゲット特徴のクラスタリングを促進するターゲットベースの分類器を導入する。
• ソースとターゲットの分類器に逆形の損失関数を設計し、単一の最適化目的関数内で相反構造の学習を統合する。
• ソース特徴の拡張とターゲット特徴のクラスタリングの手順を交互に実行し、ソース境界を拡大するとともに、ターゲット特徴をその内側に閉じ込める。
• 敵対的訓練を適用し、特徴表現と距離測定を段階的に更新することで、モデル崩壊を緩和する。
• ドメイン間で特徴統合と意思決定境界の頑健性を同時に最適化する統一された目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 半教師ありドメイン適応において、ソースドメインとターゲットドメイン間の条件付き分布の不一致をどのように効果的に軽減できるか。
• RQ2 ソースとターゲットの分類器に相反する損失形式を適用することで、意思決定境界の一般化性能がどの程度向上するか。
• RQ3 ソース特徴の拡張とターゲット特徴のクラスタリングを交互に実行するプロトコルは、標準的な敵対的統合よりも優れたクロスドメイン特徴統合を達成できるか。
• RQ4 特徴表現と距離測定の段階的精錬が、訓練中におけるモデル崩壊をどのように防止するか。
• RQ5 提案されたUODAフレームワークは、標準的なドメイン適応ベンチマークで、既存の最先端手法を上回る性能を達成できるか。

主な発見

• UODAはDomainNetベンチマークで最先端の性能を達成し、クロスドメイン一般化性能において既存手法を上回る。
• 本手法はターゲット特徴のクラスタリングを顕著に改善し、クラス内コンパクト性の向上とクラス間分離性の強化を実現する。
• ソースとターゲット分類器に損失形式を逆転させることで、意思決定境界がソースドメインに偏るのを低減する。
• ソース特徴の拡張とターゲット特徴のクラスタリングの交互実行により、クロスドメイン特徴の正確な統合が達成される。
• 距離測定と特徴表現に対する段階的更新が、敵対的訓練中のモデル崩壊を効果的に防止する。
• Office-Homeにおける広範な実験から、UODAが最小限の教師信号のもとで多様なドメインシフトに優れた一般化性能を示すことが確認された。