[논문 리뷰] Private Federated Learning with Domain Adaptation

Daniel Peterson, Pallika Kanani외 1명|arXiv (Cornell University)|2019. 12. 13.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 57

한 줄 요약

논문은 일반 도메인 전문가와 개인 도메인 전문가의 혼합을 이용한 per-user domain adaptation(FL+DE)을 통해 differential privacy 하에서 표준 DP-FL에 비해 정확도를 향상시킨 Federated Learning을 제안한다.

ABSTRACT

Federated Learning (FL) is a distributed machine learning (ML) paradigm that enables multiple parties to jointly re-train a shared model without sharing their data with any other parties, offering advantages in both scale and privacy. We propose a framework to augment this collaborative model-building with per-user domain adaptation. We show that this technique improves model accuracy for all users, using both real and synthetic data, and that this improvement is much more pronounced when differential privacy bounds are imposed on the FL model.

연구 동기 및 목표

• 다양한 도메인을 가진 사용자들 간의 프라이버시 보호 협력 모델 학습을 촉진한다.
• 연합 학습에서 도메인 적응 메커니즘을 도입해 사용자별 예측을 개인화한다.
• 공유 일반 모델과 사용자별 비공개 모델을 전문가 모음으로 결합하면 차등 프라이버시 하에서 정확도가 향상됨을 보인다.
• 개인 도메인 전문가가 해당 도메인에 대해 노이즈 없는 업데이트를 가능하게 하면서 전역 학습 이점을 유지한다는 것을 보여준다.

제안 방법

• 차등 프라이버시를 갖는 연합 학습으로 학습된 일반 모델 M_G를 형식화한다.
• 각 개인 도메인 모델 M_Pi를 M_G의 사본으로 초기화하고 프라이빗 데이터에서 DP 노이즈 없이 학습한다.
• 각 사용자에 대해 M_G와 M_Pi의 출력을 결합하기 위해 게이팅 함수 alpha_i(x)를 가진 mixture of experts를 사용한다.
• 게이팅 가중치 w_i와 바이어스 b_i를 포함한 모든 구성요소를 경사 하강법으로 학습한다.
• 합성 회귀 데이터와 실제 스팸 탐지 도메인 적응 데이터셋을 평가하여 기초선, FL, FL+DE를 서로 다른 프라이버시/노이즈 설정 하에서 비교한다.

실험 결과

연구 질문

• RQ1 연합 학습에서 사용자별 도메인 적응이 다양한 사용자 도메인에 대해 정확도를 향상시키는가?
• RQ2 차등 프라이시티가 적용된 FL의 정확도 손실을 mixture-of-experts 접근법이 완화할 수 있는가?
• RQ3 다양한 DP 노이즈 수준에서 개인 도메인 모델이 일반 FL 모델과 어떻게 상호 작용하는가?
• RQ4 전역 데이터에서 사용자 도메인이 충분히 대표되지 않을 때 도메인 적응이 일반 모델의 일반화에 미치는 영향은 무엇인가?

주요 결과

• FL+DE는 기초선과 표준 DP-FL에 비해 평가된 모든 시나리오에서 가장 높은 정확도를 기록한다.
• 도메인 적응 단독으로 실제 데이터 세트에서 약 1.3%의 절대 정확도 상승을 제공한다.
• 낮은 노이즈에서 DP-FL은 FL+DE보다 정확도가 더 많이 감소하고, 높은 노이즈에서는 DP-FL이 13.9% 감소하는 반면 FL+DE는 0.8%만 감소한다.
• 합성 데이터에서 DP 노이즈가 증가해도 FL+DE는 기초선에 더 가깝게 유지되지만 DP-FL은 일부 사용자에서 비협력적 기초선보다 떨어질 수 있다.
• 게이팅 함수는 입력 공간의 영역별로 일반 모델 또는 개인 모델 중 어느 쪽을 신뢰할지 학습하여 표적화된 도메인 적응을 가능하게 한다.