[논문 리뷰] The Value of Collaboration in Convex Machine Learning with Differential Privacy

Nan Wu, Farhad Farokhi외 2명|arXiv (Cornell University)|2019. 06. 24.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 6

한 줄 요약

이 논문은 분산된 겹치지 않는 데이터셋에서 볼록 기계학습을 위한 차별적(private) 확률적 경사하강법 프레임워크를 제안한다. 데이터 소유주들이 기밀을 보존하기 위해 노이즈가 첨가된 기울기를 제공함으로써 기밀성을 확보한다. 연구에서는 비밀성과 비밀성 없는 모델 간의 성능 격차가 데이터셋 크기와 기밀 예산의 제곱에 반비례함을 입증하며, 학습을 시작하기 이전에 기밀-유용성 트레이드오프를 정확하게 예측할 수 있음을 보여준다.

ABSTRACT

In this paper, we apply machine learning to distributed private data owned by multiple data owners, entities with access to non-overlapping training datasets. We use noisy, differentially-private gradients to minimize the fitness cost of the machine learning model using stochastic gradient descent. We quantify the quality of the trained model, using the fitness cost, as a function of privacy budget and size of the distributed datasets to capture the trade-off between privacy and utility in machine learning. This way, we can predict the outcome of collaboration among privacy-aware data owners prior to executing potentially computationally-expensive machine learning algorithms. Particularly, we show that the difference between the fitness of the trained machine learning model using differentially-private gradient queries and the fitness of the trained machine model in the absence of any privacy concerns is inversely proportional to the size of the training datasets squared and the privacy budget squared. We successfully validate the performance prediction with the actual performance of the proposed privacy-aware learning algorithms, applied to: financial datasets for determining interest rates of loans using regression; and detecting credit card frauds using support vector machines.

연구 동기 및 목표

• 겹치지 않는 데이터셋을 가진 다수의 데이터 소유주 간에 기밀을 보존하는 기계학습을 가능하게 하기 위해.
• 분산 볼록 최적화에서 모델 유용성과 차별적 기밀 보장 간의 트레이드오프를 정량화하기 위해.
• 데이터셋 크기와 기밀 예산을 바탕으로 실행 전에 공동 기계학습의 성능을 예측하기 위해.
• 실제 금융 데이터셋을 사용하여 선형 회귀와 서포트 벡터 기반 분류기(SVM)를 통해 이론적 경계를 검증하기 위해.
• 규제 환경에서 데이터 공유 결정을 지원하기 위해 사전 성능 추정을 제공하기 위해.

제안 방법

• 학습자는 분산된 데이터 소유주에게 기울기 질의를 제출하며, 데이터 소유주는 보정된 노이즈를 첨가하여 차별적 기울기를 제공한다.
• 부드러움과 강한 볼록성 조건 하에서, 단계 크기는 반복 수와 반복 수의 제곱에 반비례하는 확률적 경사하강법을 사용한다.
• 강한 볼록성이 없는 문제의 경우, 노이즈 영향을 줄이기 위해 평균화 레이어를 적용하며, 단계 크기는 반복 수의 역제곱근에 비례하여 감소한다.
• 이론적 분석을 통해 비밀성 있는 모델과 비비밀성 모델 간의 적합도 비용 차이에 대한 경계를 유도하며, 이 경계가 n²와 ϵ²에 반비례함을 보여준다.
• 실제 금융 데이터셋을 사용하여 선형 회귀와 서포트 벡터 기반 분류기를 활용해 실증적 검증을 수행한다.
• 프레임워크는 정직하지만 호기심이 많은 데이터 소유주와 중심 학습자를 가정하며, 통신은 별형 토폴로지로 구성된다.

실험 결과

연구 질문

• RQ1 분산 볼록 기계학습에서의 기밀-유용성 트레이드오프는 데이터셋 크기와 기밀 예산에 따라 어떻게 달라지나?
• RQ2 이론적 경계가 실질적인 차별적 기계학습의 성능을 정확하게 예측할 수 있는가?
• RQ3 수렴성을 보장하고 비밀성 모델과 비비밀성 모델 간의 적합도 격차를 최소화하는 단계 크기 스케줄은 무엇인가?
• RQ4 강한 볼록성이 없는 경우, 차별적 기울기 기반 경사하강법의 수렴성과 유용성에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 금융 및 에너지 분야와 같이 규제가 엄격한 분야에서 실질적인 데이터 공유 결정을 지원할 수 있는가?

주요 결과

• 부드러움과 강한 볼록성 조건 하에서, 비밀성 모델과 비비밀성 모델 간의 적합도 비용 격차는 총 데이터셋 크기의 제곱과 기밀 예산의 제곱에 반비례한다.
• 강한 볼록성이 없는 문제의 경우, 적합도 격차는 데이터셋 크기와 기밀 예산에 대해 반비례하며 제곱은 아니다(즉, 제곱이 아님); 이에 따라 수렴성을 안정화시키기 위해 평균화 레이어가 필요하다.
• 금융 데이터셋에 대한 실증 결과는 상대적 적합도 오차가 예측된 ∼1/ϵ² 및 ∼1/n² 비례 관계를 확인한다.
• 모델 성능 격차에 대한 이론적 상한 경계는 날카롭고 실제 응용에서 실제 성능을 정확하게 반영한다.
• 이 프레임워크는 데이터 소유주가 사전에 모델 유용성을 예측할 수 있게 하여 기밀 예산 할당에 대한 정보 기반 결정을 지원한다.
• 데이터 소유주가 학습자 역할을 수행하고 각자 자신의 기밀 예산을 설정할 수 있도록 해, 탈중앙화된 배포를 지원한다.