[논문 리뷰] PrivLogit: Efficient Privacy-preserving Logistic Regression by Tailoring Numerical Optimizers

Wei Xie, Yang Wang외 2명|arXiv (Cornell University)|2016. 11. 03.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 23

한 줄 요약

이 논문은 암호화된 환경에 맞게 수치 최적화를 특화시켜 보안 계산을 가속화하는 프라이버시 보장 로지스틱 회귀 프레임워크인 PrivLogit을 제안한다. 표준 뉴턴 방법 대신 헤시안 행렬 계산 오버헤드를 줄이는 맞춤형 최적화기로 대체함으로써, 저자들은 상태 기준 프로토콜 대비 최대 8.1배의 속도 향상을 달성하면서도 정확도와 프라이버시를 유지한다. 이는 분산된 수평 분할 데이터 환경에서 성립한다.

ABSTRACT

Safeguarding privacy in machine learning is highly desirable, especially in collaborative studies across many organizations. Privacy-preserving distributed machine learning (based on cryptography) is popular to solve the problem. However, existing cryptographic protocols still incur excess computational overhead. Here, we make a novel observation that this is partially due to naive adoption of mainstream numerical optimization (e.g., Newton method) and failing to tailor for secure computing. This work presents a contrasting perspective: customizing numerical optimization specifically for secure settings. We propose a seemingly less-favorable optimization method that can in fact significantly accelerate privacy-preserving logistic regression. Leveraging this new method, we propose two new secure protocols for conducting logistic regression in a privacy-preserving and distributed manner. Extensive theoretical and empirical evaluations prove the competitive performance of our two secure proposals while without compromising accuracy or privacy: with speedup up to 2.3x and 8.1x, respectively, over state-of-the-art; and even faster as data scales up. Such drastic speedup is on top of and in addition to performance improvements from existing (and future) state-of-the-art cryptography. Our work provides a new way towards efficient and practical privacy-preserving logistic regression for large-scale studies which are common for modern science.

연구 동기 및 목표

• 기존의 프라이버시 보장 분산 머신러닝 프로토콜에서 발생하는 높은 계산 오버헤드 문제를 해결한다. 특히 로지스틱 회귀에 대해.
• 기존의 주류 수치 최적화기(예: 뉴턴 방법)를 보안 환경에 그대로 적용할 경우 성능이 최적화되지 않는다는 점을 규명한다.
• 보안 다자간 계산을 위한 특화된 최적화 전략을 개발하여 프라이버시나 정확도를 훼손하지 않으면서도 계산 블로킹을 줄인다.
• 새로운 최적화기 기반으로 두 가지 효율적인 보안 프로토콜—PrivLogit-Hessian 및 PrivLogit-Local—을 설계하여 대규모 협업 연구 환경에서의 실용적 구현을 가능하게 한다.
• 최적화기 맞춤화로 얻는 성능 향상이 암호 기법 자체의 발전에 의해 이루어지는 향상과 독립적이고, 덧셈적인 성질을 가짐을 입증한다.

제안 방법

• 보안 환경에 맞게 최적화 과정을 재구성함으로써 비용이 많이 드는 헤시안 행렬 계산을 피하는 새로운 수치 최적화기 PrivLogit을 제안한다.
• 각 반복에서 단일이고 압축된 암호화된 헤시안 요약만을 계산하고 교환하는 PrivLogit-Hessian을 설계하여 통신 및 계산을 최소화한다.
• 각 기관에서 국소 헤시안 근사 계산을 수행하는 변형인 PrivLogit-Local을 도입함으로써 글로벌 조율를 줄이고 수렴 속도를 향상시킨다.
• 국소 계산은 프라이버시에 영향을 주지 않으며(데이터 크기 n과 무관하므로), 총 비용이 p³(특징 수)에 비례할 뿐 n(표본 수)에 비례하지 않음을 활용한다.
• 모든 중간 및 요약 데이터를 보호하기 위해 표준 암호 기반 원리로 보안 다자간 계산(MPC)을 활용하여 종단 간 프라이버시를 확보한다.
• 새로운 최적화기가 표준 뉴턴 방법과 동등한 수렴 성질과 정확도를 유지함을 보장한다. 이는 암호화 제약 조건 하에서도 성립한다.

실험 결과

연구 질문

• RQ1 암호 기술의 발전에도 불구하고 기존의 프라이버시 보장 로지스틱 회귀 프로토콜이 왜 여전히 비효율적인가?
• RQ2 수치 최적화 알고리즘의 선택을 재고함—특히 표준 뉴턴 방법을 대체함—으로써 보안 계산 환경에서 뚜렷한 성능 향상이 달성될 수 있는가?
• RQ3 프라이버시 보장 환경에서 근사 헤시안 또는 국소 최적화를 사용할 경우의 계산 및 통신 트레이드오프는 어떠한가?
• RQ4 암호화 제약 조건 하에서 제안된 PrivLogit 최적화기와 표준 뉴턴 기반 방법 간의 수렴 속도 및 정확도는 어떻게 비교되는가?
• RQ5 최적화기 맞춤화로 얻는 성능 향상은 기반 암호 기술의 향상과 얼마나 독립적이며, 덧셈적인 성질을 가지는가?

주요 결과

• 제안된 PrivLogit 최적화기는 다양한 환경에서 최첨단 프로토콜 대비 최대 2.3배 및 8.1배의 속도 향상을 달성하며, 데이터 규모가 증가할수록 성능 향상이 더욱 두드러진다.
• 대규모 환경에서는 통신 감소와 더 효율적인 국소 계산 덕분에 PrivLogit-Local이 PrivLogit-Hessian보다 뛰어난 성능을 보인다.
• 새로운 최적화기는 암호화 제약 조건 하에서도 표준 뉴턴 방법과 동등한 높은 정확도와 수렴 안정성을 유지한다.
• 새로운 방법의 계산 비용은 n(표본 수)에 비례하지 않고 p³(특징 수)에만 비례하므로, 대규모 데이터셋에 매우 효율적이다.
• 성능 향상은 암호 기술 향상과 독립적이다. 즉, 향후 보안 계산 프로토콜의 발전과도 덧셈적인 성질을 가진다.
• 이 방법은 로지스틱 회귀를 넘어서 다른 머신러닝 모델, 예를 들어 분류기, 회귀기, 그리고 프라이버시 민감한 도메인에서의 딥러닝 모델로 일반화 및 확장 가능하다.