[논문 리뷰] KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation

Haozhe Feng, Zhaoyang You외 6명|arXiv (Cornell University)|2020. 11. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 44

한 줄 요약

KD3A는 Knowledge Vote, Consensus Focus, BatchNorm MMD를 활용하여 다중 소스 모델에서 지식을 증류하고, 프라이버시를 보장하는 분산 비감독 다중 소스 도메인 적응(UMDA)을 수행하며, 로버스트성을 향상시키고 통신을 감소시키는 데 기여합니다. 부정 전이 문제를 처리합니다.

ABSTRACT

Conventional unsupervised multi-source domain adaptation (UMDA) methods assume all source domains can be accessed directly. This neglects the privacy-preserving policy, that is, all the data and computations must be kept decentralized. There exists three problems in this scenario: (1) Minimizing the domain distance requires the pairwise calculation of the data from source and target domains, which is not accessible. (2) The communication cost and privacy security limit the application of UMDA methods (e.g., the domain adversarial training). (3) Since users have no authority to check the data quality, the irrelevant or malicious source domains are more likely to appear, which causes negative transfer. In this study, we propose a privacy-preserving UMDA paradigm named Knowledge Distillation based Decentralized Domain Adaptation (KD3A), which performs domain adaptation through the knowledge distillation on models from different source domains. KD3A solves the above problems with three components: (1) A multi-source knowledge distillation method named Knowledge Vote to learn high-quality domain consensus knowledge. (2) A dynamic weighting strategy named Consensus Focus to identify both the malicious and irrelevant domains. (3) A decentralized optimization strategy for domain distance named BatchNorm MMD. The extensive experiments on DomainNet demonstrate that KD3A is robust to the negative transfer and brings a 100x reduction of communication cost compared with other decentralized UMDA methods. Moreover, our KD3A significantly outperforms state-of-the-art UMDA approaches.

연구 동기 및 목표

• 원본 데이터에 접근할 수 없는 상태에서 프라이버시 보장 비감독 다중 소스 도메인 적응(UMDA)을 동기화합니다.
• 대상 도메인 적합을 위해 다수의 소스 모델을 활용하는 KD 기반 분산 프레임워크를 제안합니다.
• 관련 없는 또는 악의적인 소스로부터의 부정 transfer를 감지하고 완화하는 메커니즘을 도입합니다.
• KD3A에 대한 이론적 경계와 실용적 효율성 및 커뮤니케이션 효율성을 검증합니다.

제안 방법

• 대상 데이터에 대해 다수의 소스 모델로부터 고품질의 합의 지식을 산출하기 위한 Knowledge Vote.
• 합의 품질에 기반하여 소스 도메인에 가중치를 부여하는 Consensus Focus를 통해 부정 transfer를 감소합니다.
• BatchNorm MMD를 사용하여 원시 데이터 대신 BatchNorm 통계를 활용함으로써 H-divergence의 분산 최적화를 분산화합니다.
• KD3A의 분산 일반화 경계 도출로 기본 UMDA 경계보다 개선된 성능을 보임을 보입니다.
• 알고리즘 1은 프라이버시를 보장하는 분산 설정에서 세 가지 구성요소를 포함하는 KD3A의 학습 루프를 개략적으로 제시합니다.

실험 결과

연구 질문

• RQ1 다수의 분산 소스 모델 간의 지식 증류가 소스 데이터 부재 상태에서 비감독 도메인 적응을 개선할 수 있는가?
• RQ2 분산 설정에서 악의적이거나 무관한 소스를 감지하고 낮은 가중치를 부여하여 부정 transfer를 방지할 수 있는가?
• RQ3 합의 기반 가중치 부여와 BN 기반 발산 최소화가 일반화 경계 및 성능에 어떤 영향을 미치는가?
• RQ4 KD3A가 대규모 다도메인 벤치마크에서 최신 UMDA 방법 및 분산 베이스라인과 비교하여 어떻게 수행되는가?

주요 결과

• KD3A는 DomainNet에서 평균 정확도 51.1%를 달성하며 최첨단 UMDA 방법보다 우수합니다.
• KD3A는 Clipart 및 Sketch 도메인에서 오라클 성능을 달성합니다.
• KD3A는 다른 분산 UMDA 방법에 비해 약 100배의 커뮤니케이션 비용을 감소시킵니다.
• Knowledge Vote와 Consensus Focus가 무관하거나 악의적인 도메인을 효과적으로 식별하고 약화시켜 부정 transfer를 감소시킵니다.
• BatchNorm MMD는 소스 데이터에 접근하지 않고도 H-발산의 분산 최적화를 가능하게 합니다.
• KD3A는 프라이버시 누출과 부정 transfer에 대해 견고성을 보이며 강력한 도메인 적합 성능을 달성합니다.