[논문 리뷰] CryptoSPN: Privacy-preserving Sum-Product Network Inference

Amos Treiber, Alejandro Molina외 3명|TUbilio (Technical University of Darmstadt)|2020. 02. 03.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 7

한 줄 요약

CryptoSPN는 보안 다자간 계산(SMPC)을 사용하여 합-곱 네트워크(SPNs)의 기밀 추론을 가능하게 하는 프레임워크로, 클라이언트 데이터, 모델 구조 및 예측에 대해 증명 가능한 보안을 보장한다. 중간 크기의 SPN에 대해 정확도 저하 없이 몇 초 내에 효율적이고 정확한 추론을 달성하며, 표준 SPN과 RAT-SPN을 모두 지원하며 최소한의 성능 오버헤드를 유발한다.

ABSTRACT

AI algorithms, and machine learning (ML) techniques in particular, are increasingly important to individuals' lives, but have caused a range of privacy concerns addressed by, e.g., the European GDPR. Using cryptographic techniques, it is possible to perform inference tasks remotely on sensitive client data in a privacy-preserving way: the server learns nothing about the input data and the model predictions, while the client learns nothing about the ML model (which is often considered intellectual property and might contain traces of sensitive data). While such privacy-preserving solutions are relatively efficient, they are mostly targeted at neural networks, can degrade the predictive accuracy, and usually reveal the network's topology. Furthermore, existing solutions are not readily accessible to ML experts, as prototype implementations are not well-integrated into ML frameworks and require extensive cryptographic knowledge. In this paper, we present CryptoSPN, a framework for privacy-preserving inference of sum-product networks (SPNs). SPNs are a tractable probabilistic graphical model that allows a range of exact inference queries in linear time. Specifically, we show how to efficiently perform SPN inference via secure multi-party computation (SMPC) without accuracy degradation while hiding sensitive client and training information with provable security guarantees. Next to foundations, CryptoSPN encompasses tools to easily transform existing SPNs into privacy-preserving executables. Our empirical results demonstrate that CryptoSPN achieves highly efficient and accurate inference in the order of seconds for medium-sized SPNs.

연구 동기 및 목표

• GDPR 등에 따른 기밀성 문제를 해결하기 위해, 민감한 클라이언트 데이터나 모델 구조를暴露하지 않고도 원격 추론을 가능하게 한다.
• 클라이언트 입력과 모델 지적 재산권을 모두 보호하는 보안성, 효율성, 정확성을 확보한 SPN 추론 솔루션을 제공한다.
• 기본적인 암호학적 전문 지식 없이도 ML 전문가가 기밀 보장 추론을 쉽게 구현할 수 있도록, ML 프레임워크와 통합한다.
• 입력 데이터뿐만 아니라 SPN의 구조적 위상과 범위까지도 숨기며, 기존 솔루션보다 더 강력한 기밀 보장 기능을 제공한다.
• 실제 응용에서 보안, 효율성, 정확성의 균형을 유지하면서 중간 크기의 SPN에 대해 실현 가능한 성능을 달성한다.

제안 방법

• 요아의 가로화 회로를 사용한 보안 다자간 계산(SMPC)을 활용하여, 입력, 출력, 모델 구조를 폭 드러내지 않고 SPN 추론을 수행한다.
• SPN을 로그2 도메인 상의 산술 회로로 컴iles하여, 기밀 보장 회로로 전환함으로써 효율적인 SMPC 평가를 가능하게 한다.
• 암호학적 기법을 적용하여 랜덤 변수의 범위와 네트워크의 위상 구조를 숨기며, 구조적 가림을 보장한다.
• 두 단계 프로토콜을 구현한다: 설정 단계는 수분 내외, 기가바이트 수준의 통신이 필요하고, 온라인 단계는 1초 이내의 지연과 메가바이트 수준의 통신을 제공한다.
• SMPC에서 32비트 및 64비트 부동소수점 정밀도를 사용하며, 로그2 도메인 계산으로 인한 정확도 손실이 최소한이다.
• 기존 SPN(예: SPFlow에서 제공하는 것들)을 최소한의 사용자 노력으로 기밀 보장 실행 가능 형태로 변환할 수 있는 도구를 통합한다.

실험 결과

연구 질문

• RQ1 SMPC를 사용하여 SPN 추론을 기밀 보장 방식으로 수행할 수 있는가? 정확도 저하 없이 모델 구조를 폭 드러내지 않고도 가능한가?
• RQ2 SPN 크기, 깊이, 조밀도에 따라 기밀 보장 SPN 추론의 성능 스케일링은 어떻게 되는가?
• RQ3 가로화 회로 및 비밀 공유와 같은 암호학적 기법이 SPN의 추론 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 프레임워크는 표준 SPN과 RAT-SPN을 모두 지원하면서도 강력한 기밀 보장 기능을 유지할 수 있는가?
• RQ5 SPN의 범위와 위상 구조를 숨기는 것이 런타임과 통신 오버헤드에 어떤 영향을 미치는가?

주요 결과

• CryptoSPN는 중간 크기의 SPN에 대해 몇 초 내에 온라인 추론을 수행하며, 설정 시간은 수분 내외, 통신량은 기가바이트 수준이다.
• 정확도는 거의 완벽하게 유지되며, 일반 SPN 평가 대비 32비트 정밀도에서는 RMSE가 4.2×10⁻⁹, 64비트 정밀도에서는 2.3×10⁻¹⁷이다.
• 합 노드의 수가 제품 또는 잎 노드보다 런타임에 더 큰 영향을 미치며, 이는 비용이 많이 드는 로그2 및 지수함수(exp2) 연산 때문이다.
• 네트워크 조밀도(특히 간선 수)는 원래 크기보다 더 중요한 성능 요소이며, 조밀한 SPN은 훨씬 높은 런타임을 보인다.
• 랜덤 변수의 범위를 숨기는 데에는 거의 영향이 없으며, 일반 추론 대비 런타임 증가 폭이 미미하다.
• 프레임워크는 모델 구조와 입력 데이터를 모두 숨기며, 기존 솔루션보다 더 강력한 증명 가능한 보안 보장을 제공한다.