[논문 리뷰] Federated Multi-Target Domain Adaptation

Chun-Han Yao, Boqing Gong외 4명|arXiv (Cornell University)|2021. 08. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 비밀 보장이 보장되며 효율적인 모델 훈련을 가능하게 하는 새로운 피어드된 다중 타겟 도메인 적응(Fed-Multi-Target Domain Adaptation, FMTDA) 프레임워크인 DualAdapt를 제안한다. 이는 라벨이 없는 클라이언트 데이터와 중앙집중식 라벨이 부여된 데이터셋을 활용한다. 클라이언트에서의 로컬 적응(경량 분류기와 GMM를 통한)을 서버에서의 글로벌 특징 적응(믹스업 기반 프록시 세트를 사용)과 분리함으로써, 통신 및 계산 비용을 최소화하면서도 높은 정확도를 달성한다. 기존 기준 대비 클라이언트 FLOPs를 약 75% 감소시킨다.

ABSTRACT

Federated learning methods enable us to train machine learning models on distributed user data while preserving its privacy. However, it is not always feasible to obtain high-quality supervisory signals from users, especially for vision tasks. Unlike typical federated settings with labeled client data, we consider a more practical scenario where the distributed client data is unlabeled, and a centralized labeled dataset is available on the server. We further take the server-client and inter-client domain shifts into account and pose a domain adaptation problem with one source (centralized server data) and multiple targets (distributed client data). Within this new Federated Multi-Target Domain Adaptation (FMTDA) task, we analyze the model performance of exiting domain adaptation methods and propose an effective DualAdapt method to address the new challenges. Extensive experimental results on image classification and semantic segmentation tasks demonstrate that our method achieves high accuracy, incurs minimal communication cost, and requires low computational resources on client devices.

연구 동기 및 목표

• 클라이언트 데이터가 라벨 없이 비밀 보장되며, 중앙집중식 라벨이 부여된 데이터셋이 존재하는 환경에서 정확한 시각 모델을 훈련시키는 데 실용적인 과제를 해결하기 위해.
• FMTDA에서의 핵심 과제를 규명하기 위해: 서버에서 클라이언트 데이터에 접근할 수 없음, 클라이언트 간 도메인 이격, 제한된 클라이언트 데이터, 통신 및 계산 제약 조건.
• 클라이언트에서의 경량 로컬 적응과 서버에서의 고부하 글로벌 적응을 분리하는 새로운 프레임워크를 제안하기 위해.
• 다양한 클라이언트 도메인에서 높은 모델 정확도를 유지하면서도 클라이언트 측의 계산 및 통신 비용을 최소화하기 위해.
• 강력한 기준 기반으로 실제 피어드된 환경에서 이미지 분류 및 의미 세분화 작업에 대해 방법을 평가하기 위해.

제안 방법

• 클라이언트 기기에서 계산 비용을 줄이기 위해 모델을 정적 특징 추출기와 훈련 가능한 로컬 분류기로 분해한다.
• 각 클라이언트의 라벨이 없는 데이터에 대해 파arametric GMM(Gaussian Mixture Model)을 적합하여 통계적 분포를 인코딩하고 서버로 전송한다.
• 원시 데이터 전송을 피하고 개인정보 보호를 유지하기 위해 오직 GMM 파라미터와 로컬 분류기 가중치만 서버로 업로드한다.
• 서버에서 소스 데이터셋의 믹스업 증강된 버전을 프록시 세트로 사용하여 다양한 타겟 도메인을 시뮬레이션한다.
• 클라이언트 전용 GMM를 사용해 믹스업 프록시 샘플의 가중치를 조정하여 글로벌 특징 적응 중 각 타겟 도메인의 분포를 근사한다.
• 클라이언트 데이터에 접근하지 않고도 효과적인 도메인 적응이 가능하도록, GMM 가중치가 부여된 프록시 세트를 사용해 글로벌 특징 추출기와 분류기를 함께 미세 조정한다.

실험 결과

연구 질문

• RQ1 라벨 없는 클라이언트 데이터와 중앙집중식 라벨이 있는 소스 데이터셋을 가진 피어드된 다중 타겟 환경에서, 기존의 중심 집중형 도메인 적응 방법은 어떤 성능을 보일 수 있는가?
• RQ2 피어드된 다중 타겟 도메인 적응에서 클라이언트 간 도메인 이격과 제한된 클라이언트 데이터로 인해 발생하는 핵심 과제는 무엇인가?
• RQ3 클라이언트-서버 분리 훈련 전략이 FMTDA에서 통신 및 계산 비용을 줄이면서도 고정확도를 유지하는 데 효과적인가?
• RQ4 직접 데이터에 접근하지 않고도 GMM 가중치가 부여된 믹스업 프록시 세트를 사용해 다양한 클라이언트 데이터 분포를 근사하는 데 얼마나 효과적인가?
• RQ5 FMTDA에서 모델 성능, 통신 비용, 클라이언트 측 계산 비용 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• DualAdapt는 Digit-Five 벤치마크에서 Fed-MCD 대비 1.1% 정확도 향상을 달성하면서도 클라이언트 측 FLOPs를 약 75% 감소시키고, 통신 오버헤드는 50% 감소시켰다.
• DualAdapt에 자기 훈련을 추가하면 정확도가 추가로 0.7% 향상되며, 계산 비용 증가는 거의 없었다.
• GMM 가중치 메커니즘이 1,000개의 추가 파라미터만으로도 거의 오라클 성능에 도달할 수 있도록 해주었다.
• 특징 추출기를 고정하고 기기에서 전체 모델 업데이트를 방지함으로써, 클라이언트 측 계산 비용을 기존 피어드 기반 기준의 약 1/4로 줄였다.
• 중앙집중식 다중 타겟 도메인 적응 실험에서, 하나의 공통 특징 추출기와 각각의 개인 분류기를 사용하는 '한 명에서 다수' 방식이, '한 명에서 한 명' 및 '한 명에서 조합' 방식보다 저자원 환경에서 더 뛰어난 성능을 보였으며, FMTDA 설계 선택의 타당성을 입증했다.
• 이미지 분류 및 의미 세분화 작업에 대한 광범위한 실험 결과, DualAdapt는 정확도, 통신 효율성, 계산 효율성 면에서 모두 중심집중형 및 피어드 기반 기준을 뛰어넘는 일관된 성능 향상을 보였다.