[논문 리뷰] SWIFT: Super-fast and Robust Privacy-Preserving Machine Learning

Nishat Koti, Mahak Pancholi외 2명|arXiv (Cornell University)|2020. 05. 20.

Privacy-Preserving Technologies in Data참고 문헌 49인용 수 36

한 줄 요약

SWIFT는 Secure Outsourced Computation 설정에서 악의적으로 보안이 강화된 3자 및 4자 PPML 프레임워크를 제시하며, 최첨단 동료들과 비교해 경쟁력 있는 효율성으로 출력 전달이 보장되고, Logistic Regression 및 VGG16와 LeNet 같은 신경망으로 검증된다.

ABSTRACT

Performing machine learning (ML) computation on private data while maintaining data privacy, aka Privacy-preserving Machine Learning~(PPML), is an emergent field of research. Recently, PPML has seen a visible shift towards the adoption of the Secure Outsourced Computation~(SOC) paradigm due to the heavy computation that it entails. In the SOC paradigm, computation is outsourced to a set of powerful and specially equipped servers that provide service on a pay-per-use basis. In this work, we propose SWIFT, a robust PPML framework for a range of ML algorithms in SOC setting, that guarantees output delivery to the users irrespective of any adversarial behaviour. Robustness, a highly desirable feature, evokes user participation without the fear of denial of service. At the heart of our framework lies a highly-efficient, maliciously-secure, three-party computation (3PC) over rings that provides guaranteed output delivery (GOD) in the honest-majority setting. To the best of our knowledge, SWIFT is the first robust and efficient PPML framework in the 3PC setting. SWIFT is as fast as (and is strictly better in some cases than) the best-known 3PC framework BLAZE (Patra et al. NDSS'20), which only achieves fairness. We extend our 3PC framework for four parties (4PC). In this regime, SWIFT is as fast as the best known fair 4PC framework Trident (Chaudhari et al. NDSS'20) and twice faster than the best-known robust 4PC framework FLASH (Byali et al. PETS'20). We demonstrate our framework's practical relevance by benchmarking popular ML algorithms such as Logistic Regression and deep Neural Networks such as VGG16 and LeNet, both over a 64-bit ring in a WAN setting. For deep NN, our results testify to our claims that we provide improved security guarantee while incurring no additional overhead for 3PC and obtaining 2x improvement for 4PC.

연구 동기 및 목표

• 서버가 악의적으로 작동할 수 있는 SOC 설정에서 강건한(GOD) PPML을 고무한다.
• Honest-majority 설정에서 GOD를 갖춘 링 위의 악의적으로 보안된 3PC/4PC 프레임워크 SWIFT를 제안한다.
• 전처리 기반 프로토콜(곱셈, 내적, 자르기(트렁케이션), 비트 연산)에 대해 GOD를 달성하는 PPML 프리미티브를 개발한다.
• 효율성을 유지하면서 강건성 및 성능을 개선하기 위해 3PC 프레임워크를 4PC로 확장한다.
• 실용성과 성능 향상을 입증하기 위해 PPML 워크로드(Logistic Regression, LeNet, VGG16)를 벤치마크한다.

제안 방법

• Joint Message Passing (jmp)라는, 두 서버가 세 번째 서버에 메시지를 중계하게 하고, 잘못 동작이 감지되면 TTP를 대체할 수 있는 기능을 가진 효율적인 원시를 도입하여 rate-1 통신을 달성한다.
• 선형성 특성을 갖는 Z_{2^l}(산술) 및 Z_{2^1}(불리언) 상의 비밀 공유 의미론를 제시하여 로컬 계산을 효율적으로 가능하게 한다.
• 공유, 내적, 자르기, 비트 추출, 비트에서 산술로, 비트 주입, 입력 공유, 출력 재구성 등을 포함하는 강력한 3PC 프로토콜 스택을 제공하며 모두 GOD를 달성한다.
• 3PC 프리미티브를 4PC 설정으로 확장하고, 유사한 jmp 기반 접근법을 활용해 방송 채널에 의존하지 않으면서도 강건성을 개선된 효율로 유지한다.
• PPML 작업의 온라인 phase를 가속하기 위해 입력에 의존하지 않는 작업을 오프라인에서 수행하는 전처리 모델 최적화를 설명한다.
• WAN 환경에서 ML 작업(Logistic Regression 훈련/추론, LeNet, VGG16)을 벤치마크하여 실제적 실행 가능성과 동료 대비 성능 동등/우위를 입증한다.

실험 결과

연구 질문

• RQ1 무해한 다수 가정하에서 악의적 공격자에 대해 3PC/4PC PPML에서 SWIFT가 GOD를 가진 강건한 출력 전달을 제공할 수 있는가?
• RQ2 GOD를 유지하면서 3PC 및 4PC SWIFT 프로토콜이 통신 및 라운드 복잡도 측면에서 기존의 공정/강건 프레임워크(BLAZE, Trident, FLASH 등)와 어떻게 비교되는가?
• RQ3 WAN 설정에서 표준 ML 워크로드(Logistic Regression, LeNet, VGG16)에 대한 SWIFT의 실용적 성능 영향은 무엇인가?
• RQ4 Joint Message Passing 원시가 여러 프로토콜 호출에서 amortized의 rate-1 통신을 가능하게 하는가?
• RQ5 3PC를 4PC로 확장하는 것이 PPML 작업에서 보안 보장과 효율성에 미치는 영향은 무엇인가?

주요 결과

• SWIFT는 여러 원시에서 잘 알려진 3PC/4PC 프레임워크와 일치하거나 개선되며, 보안을 공정성에서 GOD(robustness)로 업그레이드한다.
• 3PC에서 SWIFT는 경쟁력 있는 비용으로 GOD를 달성하며, 비교 가능한 설정에서 공정성만을 제공하는 BLAZE에 대한 강건한 대안을 제시한다.
• 4PC에서 SWIFT는 Trident(가장 잘 알려진 공정 4PC)만큼 빠르고, FLASH(강건 4PC)보다 여러 원시에서 두 배 빠르며, 온라인 단계 오버헤드 증가 없이 실질적인 강건성 향상을 보여준다.
• SWIFT는 벡터 크기에 의존하지 않는 상쇄 비용의 내적(dot-product) 프로토콜을 도입하고, 입력 공유와 출력 재구성 단계가 빠르며 라운드/통신이 크게 개선된다.
• 로지스틱 회귀 및 LeNet, VGG16과 같은 신경망에서의 실험 벤치마크는 WAN 환경에서 SWIFT의 실용성을 보여주며, 향상된 보안 보장과 우수한 성능을 입증한다.