[논문 리뷰] MPCLeague: Robust MPC Platform for Privacy-Preserving Machine Learning

Ajith Suresh|arXiv (Cornell University)|2021. 12. 26.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

MPCLeague는 2~4명의 당사자 및 최대 1명의 위협에 견딜 수 있는 안정성과 고성능을 갖춘 프라이버시 보장 기계학습(PPML)을 위한 다자간 암호 계산(MPC) 플랫폼이다. 이 플랫폼은 안정적인 비밀 공유 기법과 안정적인 암호화 회로 최적화를 통해 이전의 연구 대비 수십 배에서 수백 배 빠른 성능 향상을 달성했으며, Google 클라우드에서 로지스틱 회귀, 신경망, 서포트 벡터 머신에 대한 벤치마크에서 뛰어난 처리량과 비용 효율성을 입증했다.

ABSTRACT

In the modern era of computing, machine learning tools have demonstrated their potential in vital sectors, such as healthcare and finance, to derive proper inferences. The sensitive and confidential nature of the data in such sectors raises genuine concerns for data privacy. This motivated the area of Privacy-preserving Machine Learning (PPML), where privacy of data is guaranteed. In this thesis, we design an efficient platform, MPCLeague, for PPML in the Secure Outsourced Computation (SOC) setting using Secure Multi-party Computation (MPC) techniques. MPC, the holy-grail problem of secure distributed computing, enables a set of n mutually distrusting parties to perform joint computation on their private inputs in a way that no coalition of t parties can learn more information than the output (privacy) or affect the true output of the computation (correctness). While MPC, in general, has been a subject of extensive research, the area of MPC with a small number of parties has drawn popularity of late mainly due to its application to real-time scenarios, efficiency and simplicity. This thesis focuses on designing efficient MPC frameworks for 2, 3 and 4 parties, with at most one corruption and supports ring structures. At the heart of this thesis are four frameworks - ASTRA, SWIFT, Tetrad, ABY2.0 - catered to different settings. The practicality of our framework is argued through improvements in the benchmarking of widely used ML algorithms -- Linear Regression, Logistic Regression, Neural Networks, and Support Vector Machines. We propose two variants for each of our frameworks, with one variant aiming to minimise the execution time while the other focuses on the monetary cost. The concrete efficiency gains of our frameworks coupled with the stronger security guarantee of robustness make our platform an ideal choice for a real-time deployment of PPML techniques.

연구 동기 및 목표

• 프라이버시 보장 기계학습(PPML)을 위한 실용적이고 효율적인 MPC 프레임워크를 설계하는 것.
• 최대 1명의 당사자가 위협을 가할 수 있는 상황에서 2, 3, 4명의 당사자 MPC 환경에서의 안정성 확보를 통해, 속임수를 당한 당사자들이나 악성 행동을 하는 당사자들에도 불구하고 항상 정상적인 출력을 보장하는 것.
• 반지름 기반 산술 연산 환경에서 로지스틱 회귀, 신경망, 서포트 벡터 머신 등 실제 PPML 워크로드에 최적화된 성능 향상 전략 개발.
• 런타임, 통신, 처리량, 비용 측면에서 기존 솔루션을 능가하는 통합적이고 확장 가능한 플랫폼 제공.
• 정당 다수 조건을 초월한 고급 PPML 응용 및 악성 모델 확장 가능성 탐색.

제안 방법

• 반지름 기반 비밀 공유를 사용한 2, 3, 4명의 당사자에 최적화된 통합 MPC 프rotocol 스택 설계.
• 저지연 시간 실행을 위한 비교, 곱셈, 선형 대수 연산 등 효율적인 구축 블록 구현.
• 악성 당사자에 의한 서비스 거부 공격을 방지하기 위한 안정성 메커니즘 통합으로, 악성 행동이 있더라도 항상 출력이 전달되도록 보장.
• 2단계 프로토콜 모델 적용: 오프라인 사전 계산 단계와 온라인 실행 단계로 나누며, 온라인 단계 성능 최적화.
• Google 클라우드에서 하드웨어 최적화된 구현을 통해 다양한 워크로드에서 실제 성능 벤치마크 수행.
• 새로운 PPML 원천(예: 배치 정규화, 제곱근 연산 등)에 대한 확장성 지원을 위한 모듈러 아키텍처 채택.

실험 결과

연구 질문

• RQ1 PPML 환경에서 1명의 위협이 존재하는 2~4명의 소수 당사자 환경에서 MPC 프로토콜을 어떻게 안정적이고 효율적으로 설계할 수 있는가?
• RQ2 어떤 아키텍처적 및 알고리즘적 최적화 전략이 온라인 처리량과 비용 효율성에서 수십 배에서 수백 배의 향상을 이끌 수 있는가?
• RQ3 통합된 MPC 프레임워크는 신경망, 로지스틱 회귀, SVM 등 다양한 PPML 워크로드를 강력한 보안 보장을 유지하면서도 지원할 수 있는가?
• RQ4 실제 클라우드 환경에서 데이터 크기, 배치 크기, 특성 차원의 변화에 따라 플랫폼의 성능은 어떻게 변화하는가?
• RQ5 MPCLeague를 피어 페어드 러닝 또는 악성 다수 조건의 악성 모델 환경으로 확장할 경우 어떤 영향을 미치는가?

주요 결과

• 신경망 학습(NN-1)에서 1000개의 특성과 배치 크기 1000을 사용할 경우 MPCLeague는 분당 1317.96회의 반복 처리를 달성하여, SecureML과 ABY2.0보다 뛰어난 성능을 보였다.
• 비교 벤치마크에서 ABY2.0T가 가장 뛰어난 성능을 보였으며, 128-depth 레이어에서 분당 128회의 비교를 수행하면서 비용은 단지 $0.05에 그쳤다.
• 1024-depth 비교 레이어에서 MPCLeague는 분당 59.27회의 반복 처리를 달성했고 비용은 $6.03이었으며, 이는 뛰어난 확장성 확보를 의미한다.
• 기존 시스템 대비 최대 80%의 비용 절감 효과를 기록했으며, 모든 테스트 구성에서 ABY2.0T가 가장 비용 효율적인 솔루션이었다.
• 안정성 메커니즘이 악성 당사자들이 계산을 방해하려는 행동을 해도 정상적인 당사자들이 항상 출력을 수신할 수 있도록 보장했다.
• Google 클라우드에서의 구현 결과, MPCLeague가 실제 환경에 구현 가능한 것으로 확인되었으며, 런타임, 통신, 비용 모든 지표에서 측정 가능한 성능 향상을 입증했다.