[논문 리뷰] Personalized and Private Peer-to-Peer Machine Learning

Aurélien Bellet, Rachid Guerraoui외 2명|arXiv (Cornell University)|2017. 05. 23.

Privacy-Preserving Technologies in Data참고 문헌 1인용 수 56

한 줄 요약

본 논문은 다수의 에이전트에 걸쳐 차등 프라이버시를 적용한 개인화 모델을 학습하기 위한 완전히 분산된 비동기 좌표 하강 알고리즘을 제시하고, 수렴성을 증명하며, 프라이버시-유틸리티 트레이드오프를 분석하고, 프라이버시를 보장하는 협력이 고립된 로컬 모델보다 성능이 우수함을 보인다.

ABSTRACT

The rise of connected personal devices together with privacy concerns call for machine learning algorithms capable of leveraging the data of a large number of agents to learn personalized models under strong privacy requirements. In this paper, we introduce an efficient algorithm to address the above problem in a fully decentralized (peer-to-peer) and asynchronous fashion, with provable convergence rate. We show how to make the algorithm differentially private to protect against the disclosure of information about the personal datasets, and formally analyze the trade-off between utility and privacy. Our experiments show that our approach dramatically outperforms previous work in the non-private case, and that under privacy constraints, we can significantly improve over models learned in isolation.

연구 동기 및 목표

• 프라이버시 우려로 데이터를 기기 내에 보유하면서 개인화된 모델 학습을 동기부여한다.
• 중앙 코디네이터 없이 완전히 분산되고 비동기적인 네트워크를 통해 다수의 에이전트 간 협업을 가능하게 한다.
• 모델 간 유사성에 기반한 이웃 에이전트를 연결하는 그래프 정규화 멀티태스크 목적을 형성한다.
• 차등 프라이버시 메커니즘을 개발하고 그로 인한 유틸리티 손실을 분석한다.
• 합성 및 실제 데이터 실험을 통해 프라이버시 보존 이점이 고립된 모델보다 우수함을 검증한다.

제안 방법

• 그래프 정규화된 객체를 n개의 에이전트에 대해 최소화하도록 분산 좌표 하강 알고리즘을 제안한다.
• 멀티태스크 설정에서 이웃 에이전트의 모델을 연결하기 위해 그래프 라플라시안 기반의 매끄러움 항을 사용한다.
• 각 에이전트의 블록 업데이트를 도출하여 이웃 정보와 로컬 그래디언트 단계를 혼합한다.
• 각 로컬 그래디언트/업데이트에 Laplace 노이즈를 추가하여 차등 프라이버시 버전으로 확장한다.
• 비프라이버트 경우 강도 볼록성 하에서 선형 수렴을 보이는 수렴 분석을 제공한다.
• 프라이버시 트레이드오프를 분석하고 노이즈 스케일링 및 예산 할당에 대한 지침을 제시한다.

실험 결과

연구 질문

• RQ1 완전히 분산되고 비동기적인 프레임워크가 순수 로컬 학습을 넘어 개인화된 모델을 개선할 수 있는가?
• RQ2 제안된 분산 좌표 하강법의 비동기 하에서의 수렴 동작은 어떠한가?
• RQ3 프라이버시가 유틸리티에 미치는 영향은 무엇이며 프라이버시와 정확도 간의 균형을 맞추기 위해 노이즈를 어떻게 스케일링할 수 있는가?
• RQ4 완전한 분산 setting에서 반복(iteration) 간의 프라이버시 예산 할당에 대한 효과적인 전략은 무엇인가?

주요 결과

• 비프라이버트 분산 좌표 하강법은 목적함수가 강하게 볼록할 때 선형 수렴을 달성한다.
• 프라이버시 보호 확장은 각 업데이트에 Laplace 노이즈를 더하고도 명시된 프라이버시 예산과 함께 차등 프라이버시를 유지한다.
• 프라이버시로 인한 유틸리티 손실은 비프라이버트 속도와 같은 감소 항과 추가 노이즈 항의 합으로 분해되며 일정한 노이즈에서 유한한 한계에 수렴한다.
• 프라이버시 제약 하에서도 프라이버시 보존 모델이 순수 로컬 모델보다 정확도에서 여전히 우수할 수 있다(예: MovieLens-100K 작업에서).
• 합성 선형 분류 문제 및 실제 데이터에 대한 실험은 이론과 일치하는 더 빠른 수렴과 프라이버시-유틸리티 트레이드오프를 확인한다.