[논문 리뷰] Privacy-Preserving Deep Learning for any Activation Function.

Le Trieu Phong, Tran Thi Phuong|arXiv (Cornell University)|2018. 09. 10.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 13

한 줄 요약

이 논문은 원시 데이터를 공유하지 않고도 다수의 당사자가 확률적 경사 하강법(SGD)을 사용해 신경망을 공동으로 훈련할 수 있도록 하는 프라이버시 보장 기반 딥러닝 프레임워크를 제안한다. 어떤 활성화 함수도 지원하며, 기울기 대신 모델 가중치만 공유하고, 모든 당사자 중 하나를 제외한 나머지가 공모하더라도 보안을 유지하여 전면적인 SGD 정확도를 달성하면서도 프라이버시를 보장한다.

ABSTRACT

This paper considers the scenario that multiple data owners wish to apply a machine learning method over the combined dataset of all owners to obtain the best possible learning output but do not want to share the local datasets owing to privacy concerns. We design systems for the scenario that the stochastic gradient descent (SGD) algorithm is used as the machine learning method because SGD (or its variants) is at the heart of recent deep learning techniques over neural networks. Our systems differ from existing systems in the following features: {\bf (1)} any activation function can be used, meaning that no privacy-preserving-friendly approximation is required; {\bf (2)} gradients computed by SGD are not shared but the weight parameters are shared instead; and {\bf (3)} robustness against colluding parties even in the extreme case that only one honest party exists. We prove that our systems, while privacy-preserving, achieve the same learning accuracy as SGD and hence retain the merit of deep learning with respect to accuracy. Finally, we conduct several experiments using benchmark datasets, and show that our systems outperform previous system in terms of learning accuracies.

연구 동기 및 목표

• 개인 데이터 소유자 간의 공동 딥러닝을 가능하게 하되, 비공개 로컬 데이터셋을 폭 드러내지 않도록 한다.
• 프라이버시 보장 기반 근사치가 필요하지 않은 임의의 활성화 함수를 지원한다.
• 모든 당사자가 공모하더라도 보안을 확보하여, 유일하게 정직한 당사자 존재 시에도 안전성을 유지한다.
• 표준 SGD와 동일한 학습 정확도를 유지하여 딥러닝의 성능 이점을 손상시키지 않는다.
• 기울기 대신 모델 가중치만 공유하여 泄露 위험을 줄이는 시스템을 설계한다.

제안 방법

• 각 데이터 소유자 현장에서 로컬적으로 기울기를 계산하기 위해 보안 다자간 계산(MPC) 프레임워크를 활용한다.
• 기울기 대신 업데이트된 모델 가중치만 당사자 간에 공유하여 정보 泄露를 최소화한다.
• 중간 계산 및 가중치를 보호하기 위해 비밀 분할과 동형 암호화 기법을 사용한다.
• 비밀 분할과 동형 암호화를 통해 비선형성을 안전하게 계산함으로써, 근사치나 泄露 없이 어떤 활성화 함수도 지원한다.
• 다수의 악성 당사자가 공모하더라도 정직한 당사자의 데이터가 보호되도록 보장하는 프로토콜을 설계한다.
• 표준 SGD 훈련 루프와 통합하여 호환성과 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 프라이버시 보장 기반 딥러닝 시스템은 근사치나 수정 없이도 임의의 활성화 함수를 지원할 수 있는가?
• RQ2 기울기 대신 모델 가중치를 공유함으로써 프라이버시는 향상되고 학습 정확도는 유지되는가?
• RQ3 모든 당사자 중 하나를 제외한 나머지가 공모하더라도 시스템은 여전히 보안적인가?
• RQ4 실제로 제안된 시스템은 표준 SGD와 동일한 학습 정확도를 달성하는가?
• RQ5 모델 정확도와 확장성 측면에서 이전의 프라이버시 보장 기반 접근법과 비교해 볼 때 어떤가?

주요 결과

• 제안된 시스템은 다양한 벤치마크 데이터셋에서 표준 SGD와 동일한 학습 정확도를 달성하여, 프라이버시가 성능에 영향을 주지 않음을 확인한다.
• 이전의 연구가 활성화 함수를 제한하거나 수정해야 했던 것과 달리, 제안된 시스템은 프라이버시 보장 기반 근사치가 필요 없이 어떤 활성화 함수도 지원한다.
• 기울기 대신 모델 가중치만 공유함으로써 정보 泄露가 감소하고 프라이버시 보장을 강화한다.
• 유일하게 정직한 당사자와 나머지 모든 당사자가 공모하는 극단적인 경우에도 시스템은 보안을 유지하여 강력한 공모 저항성을 입증한다.
• 실험 결과, 제안된 시스템은 표준 벤치마크에서 이전의 프라이버시 보장 기반 시스템보다 최종 모델 정확도에서 뛰어난 성능을 보였다.