[논문 리뷰] When Homomorphic Encryption Marries Secret Sharing: Secure Large-Scale Sparse Logistic Regression and Applications in Risk Control

Chaochao Chen, Jun Zhou외 8명|arXiv (Cornell University)|2020. 08. 20.

Cryptography and Data Security참고 문헌 51인용 수 10

한 줄 요약

이 논문은 다자 환경에서 대규모 희소 로지스틱 회귀를 안전하고 효율적이며 확장 가능하게 구현하기 위해 동형 암호화(HE)와 비밀 공유(СS)를 결합한 새로운 하이브리드 프레임워크인 CAESAR를 제안한다. 희소 특징 처리에 대해 HE를 활용하고, 기울기 및 모델 업데이트의 안전한 집계에 대해 SS를 사용함으로써, CAESAR는 최신 기술 대비 130배 빠른 성능 향상을 이룩하면서도 증명 가능 보안성과 고차원 희소 데이터 처리 능력을 효과적으로 유지를 한다.

ABSTRACT

Logistic Regression (LR) is the most widely used machine learning model in industry for its efficiency, robustness, and interpretability. Due to the problem of data isolation and the requirement of high model performance, many applications in industry call for building a secure and efficient LR model for multiple parties. Most existing work uses either Homomorphic Encryption (HE) or Secret Sharing (SS) to build secure LR. HE based methods can deal with high-dimensional sparse features, but they incur potential security risks. SS based methods have provable security, but they have efficiency issue under high-dimensional sparse features. In this paper, we first present CAESAR, which combines HE and SS to build secure large-scale sparse logistic regression model and achieves both efficiency and security. We then present the distributed implementation of CAESAR for scalability requirement. We have deployed CAESAR in a risk control task and conducted comprehensive experiments. Our experimental results show that CAESAR improves the state-of-the-art model by around 130 times.

연구 동기 및 목표

• 대규모 고차원 희소 데이터에 대한 프라이버시 보존 로지스틱 회귀에서 보안성과 효율성의 상충 관계를 해결하기 위해.
• 순수 HE(중앙 집중형 환경에서의 보안 리스크)와 순수 SS(희소 특징 처리에서의 비효율성)의 한계를 극복하기 위해 다자 기계학습 환경에서의 성능을 향상시키기 위해.
• 데이터 프라이버시를 유지하면서도 다자 간 확장 가능하고 고성능의 모델 훈련을 가능하게 하는 하이브리드 시스템을 설계하기 위해.
• 실제 산업 응용 분야인 리스크 제어에 시스템을 구현하고 평가하여 실용성과 성능 향상 여부를 입증하기 위해.

제안 방법

• CAESAR는 희소 특징 처리에 대해 동형 암호화(HE)를 사용하고, 기울기 및 모델 업데이트의 안전한 집계에 대해 비밀 공유(СS)를 활용한다.
• 한 당사자(앨리스)가 HE 기반 특징 처리를 수행하고 다른 당사자(밥)가 비밀 공유를 담당하는 이중 당사자 아키텍처를 사용하여 통신 오버헤드를 최소화한다.
• 대규모 데이터셋에 대응하기 위해 다수의 워커에 걸쳐 분산 아키텍처를 구현하여 다자 환경에서의 수평 확장성을 확보한다.
• 보안 곱셈을 위해 베이버의 트리플 프로토콜을 사용하고, 작업을 배치하여 통신 복잡도를 최적화하며 불필요한 전송을 줄인다.
• 하이브리드 계산 모델을 적용하여 희소 특징 연산에는 HE를, 고밀도 모델 파rameter 업데이트에는 SS를 사용함으로써 효율성과 보안성을 균형 있게 유지한다.
• 산업 규모의 응용에 특화된 최적화된 암호 primitive와 통신 프로토콜을 구현하여 희소 데이터 워크로드에 최적화된 성능을 달성한다.

실험 결과

연구 질문

• RQ1 HE와 SS를 융합한 하이브리드 시스템이 대규모 희소 로지스틱 회귀에서 증명 가능한 보안성과 높은 효율성을 동시에 달성할 수 있는가?
• RQ2 HE와 SS의 통합이 기존의 순수 HE 또는 순수 SS 기반 접근 방식의 확장성 및 보안 한계를 어떻게 완화하는가?
• RQ3 희소 모델의 다자 훈련에서 하이브리드 설계가 통신 및 계산 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 실제 산업 응용 분야, 특히 고차원 희소 데이터를 다루는 리스크 제어에서 시스템의 성능은 어떠한가?

주요 결과

• CAESAR는 훈련 속도에서 최신 기술 대비 최대 130배 향상되었으며, 특히 저대역폭 조건에서 두드러진 성능 향상을 보였다.
• 플레인텍스트 기반 모델 대비 Recall@0.9precision에서 36.55% 향상되어 정밀도를 유지하면서도 리스크 탐지 능력이 크게 향상되었다.
• 배치 크기가 4,096일 경우, SecureML 대비 130배의 성능 향상을 기록하여 실제 데이터 처리 워크로드 조건에서 강력한 성능 향상을 입증했다.
• 특징 수와 배치 크기에 따라 선형적으로 확장되며, 네트워크 대역폭이 증가할수록 실행 시간이 감소함으로써 강력한 수평 확장성을 입증했다.
• 작업 배치와 하이브리드 계산을 통해 통신 복잡도가 감소했고, 고대역폭 환경에서는 계산 시간이 주요 병목이 되어 실제 제약 조건 하에서의 효율성을 확인했다.