[論文レビュー] KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation

Haozhe Feng, Zhaoyang You+6 more|arXiv (Cornell University)|Nov 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 44

ひとこと要約

KD3Aは複数のソースモデルから知識を蒸留して分散型の教師なし多源ドメイン適応を実現し、Knowledge Vote、Consensus Focus、BatchNorm MMDを用いてロバスト性を向上させ、ネガティブ転移を抑制しつつ通信を削減します。

ABSTRACT

Conventional unsupervised multi-source domain adaptation (UMDA) methods assume all source domains can be accessed directly. This neglects the privacy-preserving policy, that is, all the data and computations must be kept decentralized. There exists three problems in this scenario: (1) Minimizing the domain distance requires the pairwise calculation of the data from source and target domains, which is not accessible. (2) The communication cost and privacy security limit the application of UMDA methods (e.g., the domain adversarial training). (3) Since users have no authority to check the data quality, the irrelevant or malicious source domains are more likely to appear, which causes negative transfer. In this study, we propose a privacy-preserving UMDA paradigm named Knowledge Distillation based Decentralized Domain Adaptation (KD3A), which performs domain adaptation through the knowledge distillation on models from different source domains. KD3A solves the above problems with three components: (1) A multi-source knowledge distillation method named Knowledge Vote to learn high-quality domain consensus knowledge. (2) A dynamic weighting strategy named Consensus Focus to identify both the malicious and irrelevant domains. (3) A decentralized optimization strategy for domain distance named BatchNorm MMD. The extensive experiments on DomainNet demonstrate that KD3A is robust to the negative transfer and brings a 100x reduction of communication cost compared with other decentralized UMDA methods. Moreover, our KD3A significantly outperforms state-of-the-art UMDA approaches.

研究の動機と目的

• ソースデータにアクセスできない状態でプライバシー保護型の教師なし多源ドメイン適応（UMDA）を動機づける。
• ターゲットドメイン適応のために複数のソースモデルを活用するKDベースの分散フレームワークを提案する。
• 無関連または悪意のあるソースからのネガティブ転移を検出・緩和する仕組みを導入する。
• KD3Aの理論的境界を提供し、その実用的な有効性と通信効率を検証する。

提案手法

• Knowledge Voteを用いてターゲットデータに対する高品質なコンセンサス知識を複数ソースモデルから生成する。
• Consensus Focusを用いてコンセンサス品質に基づいてソースドメインに重みを割り当て、ネガティブ転移を抑制する。
• BatchNorm MMDを用いて生データを使用せずBatchNorm統計を利用することでH-divergenceの最適化を分散化する。
• KD3Aの分散型一般化境界を導出し、ベースUMDA境界より改善を示す。
• アルゴリズム1はプライバシー保護された分散設定で3つのコンポーネントを含むKD3Aの学習ループを概説する。

実験結果

リサーチクエスチョン

• RQ1 ソースデータがない状況で複数の分散型ソースモデル間の知識蒸留は教師なしドメイン適応を改善できるか。
• RQ2 分散設定で悪意のあるまたは無関係なソースを検出し重みを下げることでネガティブ転移を防ぐ方法は如何なるか。
• RQ3 Consensusベースの重み付けとBNベースの分散最小化が一般化境界と性能に与える影響は何か。
• RQ4 KD3Aは最先端のUMDA手法や分散ベースのベースラインと比較して、大規模な複数ドメインのベンチマークでどう機能するか。

主な発見

基準	方法	Clipart	Infograph	Painting	Quickdraw	Real	Sketch	平均
W/o DA	Oracle	69.3 ±0.37	34.5 ±0.42	66.3 ±0.67	66.8 ±0.51	80.1 ±0.59	60.7 ±0.48	63.0	-
Source-only	-	52.1 ±0.51	23.1 ±0.28	47.7 ±0.96	13.3 ±0.72	60.7 ±0.32	46.5 ±0.56	40.6	-
H-divergence	MDAN	60.3 ±0.41	25.0 ±0.43	50.3 ±0.36	8.2 ±1.92	61.5 ±0.46	51.3 ±0.58	42.8	-
M^3SDA	M^3SDA	58.6 ±0.53	26.0 ±0.89	52.3 ±0.55	6.3 ±0.58	62.7 ±0.51	49.5 ±0.76	42.6	-
Knowledge Ensemble	DAEL	70.8 ±0.14	26.5 ±0.13	57.4 ±0.28	12.2 ±0.7	65.0 ±0.23	60.6 ±0.25	48.7	-
Source Selection	CMSS	64.2 ±0.18	28.0 ±0.2	53.6 ±0.39	16.0 ±0.12	63.4 ±0.21	53.8 ±0.35	46.5	-
Decentralized UMDA	SHO T^*	61.7	22.2	52.6	12.2	67.7	48.6	44.2	-
FAD A^*	FADA	59.1	21.7	47.9	8.8	60.8	50.4	41.5	-
KD3A	KD3A	72.5 ±0.62	23.4 ±0.43	60.9 ±0.71	16.4 ±0.28	72.7 ±0.55	60.6 ±0.32	51.1	-

• KD3AはDomainNetで平均精度51.1%を達成し、最先端のUMDA手法を上回る。
• KD3AはClipartとSketchドメインでオラクル性能を達成する。
• KD3Aは他の分散型UMDA手法に比べ通信コストを約100倍削減する。
• Knowledge VoteとConsensus Focusは無関係/悪意のあるドメインを特定し低重みにすることでネガティブ転移を抑制する。
• BatchNorm MMDはソースデータにアクセスせずH-divergenceの分散最適化を可能にする。
• KD3Aはプライバシー漏洩とネガティブ転移に対して頑健でありつつ強力なドメイン適応性能を示す。