[논문 리뷰] Secure multiparty computations in floating-point arithmetic

Chuan Guo, Awni Hannun외 4명|arXiv (Cornell University)|2020. 01. 09.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 11

한 줄 요약

이 논문은 표준 IEEE 이중 정밀도 부동소수점 산술을 사용하여 기밀 보장 기반 머신러닝을 위한 안전한 다자간 계산 프레임워크를 제안한다. 정보 泄露를 엄격히 제한함으로써 약 10⁻⁵의 정밀도에서 완벽한 기밀 보장을 달성하며, 입력당 정보 泄露가 백만分의 일 미만(10⁻⁶ 이하)이 되도록 보장한다. 이와 동시에 수치적 안정성과 일반적인 CPU 및 GPU에서의 높은 성능을 확보한다.

ABSTRACT

Secure multiparty computations enable the distribution of so-called shares of sensitive data to multiple parties such that the multiple parties can effectively process the data while being unable to glean much information about the data (at least not without collusion among all parties to put back together all the shares). Thus, the parties may conspire to send all their processed results to a trusted third party (perhaps the data provider) at the conclusion of the computations, with only the trusted third party being able to view the final results. Secure multiparty computations for privacy-preserving machine-learning turn out to be possible using solely standard floating-point arithmetic, at least with a carefully controlled leakage of information less than the loss of accuracy due to roundoff, all backed by rigorous mathematical proofs of worst-case bounds on information loss and numerical stability in finite-precision arithmetic. Numerical examples illustrate the high performance attained on commodity off-the-shelf hardware for generalized linear models, including ordinary linear least-squares regression, binary and multinomial logistic regression, probit regression, and Poisson regression.

연구 동기 및 목표

• 기존의 암호화나 비밀번호와 같은 전통적 보안 조치로는 충분하지 않은 민감한 데이터 응용 분야에서 기밀 보장 기반 머신러닝의 필요성을 해결한다.
• 정수 기반 암호화 방법의 한계를 극복하여 표준 부동소수점 산술을 활용해 효율적이고 정확한 계산을 가능하게 한다.
• 안전한 다자간 계산을 위한 유한 정밀도 산술에서의 정보 泄露 및 수치적 안정성에 대한 엄밀한 수학적 경계를 제공한다.
• 특수 최적화 없이도 일반적인 하드웨어에서 일반 선형 모델을 위한 안전한 다자간 계산의 실용적 구현을 가능하게 한다.
• 참어린-하지만호기심 있는 위협 모델 하에서, 참가자들이 프로토콜을 올바르게 따르더라도 중간 계산 과정이 기밀을 유지하도록 보장한다.

제안 방법

• 다양한 참가자들 간에 데이터를 분할하여 분산 저장함으로써, 어느 한 참가자도 원래 데이터를 복원할 수 없도록 하는 덧셈 기반의 기밀 공유 기법을 사용한다.
• 베이버의 곱셈 프로토콜을 적용하여 기밀 공유 값 간의 안전한 곱셈을 수행한다.
• 일반 선형 모델에 필요한 비선형 함수(예: 로짓, 소프트맥스, 지수 함수)를 다항식 근사를 통해 안전하게 구현하고 오차를 통제한다.
• 엄밀한 수학적 분석을 통해 정보 泄露를 제한하며, 이는 이중 정밀도 산술에서 발생하는 본질적 반올림 오차 이하임을 보여준다.
• 모델 학습을 위해 미니배치 확률적 경사 하강법을 사용하며, 덧셈, 행렬-벡터 곱셈, 함수 평가와 같은 기본 연산만을 활용한다.
• 링크 함수의 역함수(예: 로지스틱, 프로비트, 지수 함수)를 활용해 안전한 계산 파이프라인 내에서 기울기를 효율적으로 계산한다.

실험 결과

연구 질문

• RQ1 표준 부동소수점 산술을 사용하여 기밀 보장 기반 머신러닝을 효율적으로 구현할 수 있는가? 이 경우 수치 정확도는 손상되지 않는가?
• RQ2 유한 정밀도 산술에서 안전한 계산 과정 동안 최대한도의 정보가 泄露될 수 있으며, 이를 엄밀히 경계할 수 있는가?
• RQ3 일반 선형 모델에 필요한 비선형 함수를 부동소수점 환경에서 최소한의 오차로 안전하게 근사화할 수 있는가?
• RQ4 제안된 기법이 일반 CPU 및 GPU 하드웨어에서 고성능과 강력한 기밀 보장 기능을 동시에 확보할 수 있는가?
• RQ5 정보 泄露가 이중 정밀도 부동소수점 산술에서의 본질적 반올림 오차와 비교해 어느 정도인가?

주요 결과

• 입력 실수 하나당 정보 泄露가 10⁻⁶ 비트 이하로 제한되며, 이는 이중 정밀도 산술에서 일반적으로 발생하는 약 10⁻⁵ 수준의 반올림 오차 이하이다.
• 정밀도 약 10⁻⁵에서 기법은 완벽한 기밀 보장을 달성하며, 이는 정보 泄루가 수치 오차에 비해 무시할 만큼 작음을 의미한다.
• 메가픽셀 이미지의 경우 총 정보 泄루는 최대 1비트 이하이며, 이는 세밀한 세부 정보를 구분하는 데에는 부족하고, 밝기 정도만 파악할 수 있을 정도이다.
• 이 방법은 선형 최소 제곱, 로지스틱 회귀, 프로비트 회귀, 포oisson 회귀를 포함한 광범위한 일반 선형 모델을 지원한다.
• 구현은 일반 CPU 및 GPU에서 높은 성능을 발휘하며, 전용 하드웨어나 복잡한 최적화 기법이 필요로 하지 않는다.
• 표준 머신러닝 파이프라인과 호환되며, 미니배치 확률적 경사 하강법과 다항식 근사를 통한 비선형 링크 함수의 안전한 평가를 지원한다.