[논문 리뷰] PrivColl: Practical Privacy-Preserving Collaborative Machine Learning

Yanjun Zhang, Guangdong Bai외 4명|arXiv (Cornell University)|2020. 07. 14.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 4

한 줄 요약

PrivColl은 암호화된 덧셈을 사용하여 동적으로 모델 업데이트를 안전하게 계산함으로써 데이터 및 모델 기밀성을 보장하는 경량의 프라이버시 보장 협업 기계학습 프레임워크이다. 신경망 학습에서 MPC/HE 기반 방법 대비 최대 216배의 속도 향상을 달성하면서도 모델 정확도를 유지하고, 정직하지만 호기심이 많은 적대자 모델 하에서 증명 가능한 기밀성 보장을 확보한다.

ABSTRACT

Collaborative learning enables two or more participants, each with their own training dataset, to collaboratively learn a joint model. It is desirable that the collaboration should not cause the disclosure of either the raw datasets of each individual owner or the local model parameters trained on them. This privacy-preservation requirement has been approached through differential privacy mechanisms, homomorphic encryption (HE) and secure multiparty computation (MPC), but existing attempts may either introduce the loss of model accuracy or imply significant computational and/or communicational overhead. In this work, we address this problem with the lightweight additive secret sharing technique. We propose PrivColl, a framework for protecting local data and local models while ensuring the correctness of training processes. PrivColl employs secret sharing technique for securely evaluating addition operations in a multiparty computation environment, and achieves practicability by employing only the homomorphic addition operations. We formally prove that it guarantees privacy preservation even though the majority (n-2 out of n) of participants are corrupted. With experiments on real-world datasets, we further demonstrate that PrivColl retains high efficiency. It achieves a speedup of more than 45X over the state-of-the-art MPC/HE based schemes for training linear/logistic regression, and 216X faster for training neural network.

연구 동기 및 목표

• 기존 암호화 기법이 높은 계산 또는 통신 오버헤드를 유발하는 바탕으로 실용적인 프라이버시 보장 협업 학습의 격차를 해소한다.
• 협업 학습 중에 원시 학습 데이터와 국소 모델 파라미터의 泄露를 방지한다.
• 선형 회귀, 로지스틱 회귀, 딥 신경망을 포함한 다양한 모델에 대해 강력한 기밀성 보장을 바탕으로 높은 효율성으로 학습을 가능하게 한다.
• 암호화 환경에서 고비용 연산인 동형 곱셈 및 비선형 함수에 대한 의존도를 최소화하여 실용성을 확보한다.
• 정직하지만 호기심이 많은 적대자 모델 하에서 최대 $ n-2 $명의 참여자가 손상된 경우에도 기밀성 보장을 공식적으로 증명한다.

제안 방법

• 로컬 데이터 소유자와 신뢰할 수 없는 집계 노드로 구성된 이중 레이어 아키텍처를 도입하여 데이터 및 모델의 국소성 보장.
• 암호화된 덧셈을 사용하여 모델 업데이트를 분산하고, 오직 동형 덧셈 연산만을 활용해 안전하게 계산.
• 경량화된 협업 학습 워크플로우를 설계하여 경사 하강법을 암호화된 덧셈 기반 원자 연산으로 분해함으로써 고비용 동형 곱셈 및 비선형 연산을 피한다.
• 역전파 과정에서 체인 룰 분해를 적용하여 계산을 로컬 노드와 집계자 간에 분산 처리함으로써 정확성 유지.
• 선형/로지스틱 회귀 및 시그모이드 활성화 함수를 사용하는 완전 연결 신경망을 포함한 모든 경사 기반 모델에 대해 정확성 보장.
• 최대 $ n-2 $명의 참여자가 손상된 경우에도 적대자가 민감한 데이터나 모델 파라미터를 학습할 확률이 무시할 만큼 작다($ eq ext{negligible} $)는 것을 공식적으로 증명.

실험 결과

연구 질문

• RQ1 HE 및 MPC의 높은 계산 및 통신 비용을 피하면서도 강력한 기밀성 보장을 유지하는 프라이버시 보장 협업 기계학습 프레임워크를 설계할 수 있는가?
• RQ2 오직 동형 덧셈 연산만을 사용하여 학습 데이터 및 국소 모델 파라미터에 대한 엔드 투 엔드 기밀성을 달성할 수 있는가?
• RQ3 다양한 기계학습 모델 및 네트워크 조건에서 이 프레임워크의 성능은 최신 MPC/HE 기반 솔루션과 비교해 어떻게 되는가?
• RQ4 Differential privacy 기반 접근 방식과 달리 노이즈를 도입하지 않아도 모델 정확도를 유지할 수 있는가?
• RQ5 정직하지만 호기심이 많은 적대자 모델 하에서 최대 $ n-2 $명의 참여자가 손상된 경우 프레임워크의 이론적 기밀성 보장 수준은 어떠한가?

주요 결과

• PrivColl은 선형 및 로지스틱 회귀 모델 학습에서 최신 MPC/HE 기반 기법 대비 45배 이상의 속도 향상을 달성한다.
• 신경망 학습의 경우, MZ17 MPC 기반 접근 방식 대비 PrivColl은 216배 빠르며, 60,000개의 샘플을 사용한 WAN 환경에서 18,367.88초(약 5.1시간) 만에 학습을 완료한다.
• LAN 환경에서는 PrivColl이 60,000개 샘플의 신경망을 1,352.87초(~22.5분) 만에 학습시키지만, MZ17는 LAN 환경에서도 81시간 이상(294,239.7초)이 소요된다.
• 비공개 학습과 동일한 모델 정확도를 유지하며, 일반적으로 정확도가 저하되는 differential privacy 기반 방법과는 달리 정확도 저하 없이 기능한다.
• WAN 환경에서는 통신 오버헤드가 지배적이지만, 계산 오버헤드는 효율적이며, 통신 비용은 데이터 크기와 함께 부분선형적으로 증가한다.
• PrivColl의 총 오버헤드는 WAN 환경에서 통신이 지배적이지만 실용적이다—특히 WAN 환경에서 실행이 불가능한 MPC 기반 대안 대비 뚜렷한 우수성을 보인다.