[논문 리뷰] Secure Approximation Guarantee for Cryptographically Private Empirical Risk Minimization

Toshiyuki Takada, Hiroyuki Hanada외 3명|arXiv (Cornell University)|2016. 02. 15.

Cryptography and Data Security참고 문헌 15인용 수 6

한 줄 요약

이 논문은 암호학적으로 기밀을 유지하는 기법인 보안 근사 보장(SAG) 방법을 제안한다. 이는 보안 다자간 계산(MPC) 환경에서 경험적 위험 최소화(ERM) 해법의 근사 오차에 대해 비확률적이고 가정 없는 경계를 제공한다. 조각별 선형 대체 손실 함수를 사용함으로써 SAG는 기밀 데이터를 드러내지 않고 진정한 해의 품질에 대한 날카운 경계를 안전하게 계산할 수 있으며, 비선형 모델(예: 로지스틱 회귀)에 특히 신뢰성 있는 결과를 제공한다.

ABSTRACT

Privacy concern has been increasingly important in many machine learning (ML) problems. We study empirical risk minimization (ERM) problems under secure multi-party computation (MPC) frameworks. Main technical tools for MPC have been developed based on cryptography. One of limitations in current cryptographically private ML is that it is computationally intractable to evaluate non-linear functions such as logarithmic functions or exponential functions. Therefore, for a class of ERM problems such as logistic regression in which non-linear function evaluations are required, one can only obtain approximate solutions. In this paper, we introduce a novel cryptographically private tool called secure approximation guarantee (SAG) method. The key property of SAG method is that, given an arbitrary approximate solution, it can provide a non-probabilistic assumption-free bound on the approximation quality under cryptographically secure computation framework. We demonstrate the benefit of the SAG method by applying it to several problems including a practical privacy-preserving data analysis task on genomic and clinical information.

연구 동기 및 목표

• 암호학적으로 기밀을 유지하는 머신러닝에서 근사 품질 평가의 부족을 해결하며, 특히 로지스틱 회귀와 같은 비선형 모델에 초점을 맞춘다.
• 보안 다자간 계산(MPC) 환경에서 로그 또는 지수 함수와 같은 비선형 함수의 평가가 계산적으로 불가능한 문제를 해결한다.
• 진정한 해를 알지 못해도 근사 해가 진정한 ERM 해에 얼마나 가까운지 평가할 수 있는 실용적이고 안전한 방법을 제공한다.
• 모델 예측 및 계수에 대해 가정 없는 비확률적 경계를 제공함으로써 기밀 보존 데이터 분석에서 신뢰할 수 있는 의사결정을 가능하게 한다.

제안 방법

• 원래의 비선형 손실 함수를 아래와 위에서 날카럽게 둘러싸는 두 종류의 대체 손실 함수를 사용하는 새로운 알고리즘 프레임워크를 도입한다.
• 대체 손실 함수를 조각별 선형 함수로 구현하여 MPC 환경에서 암호학적으로 안전하게 계산할 수 있도록 한다.
• 이러한 대체 함수를 사용해 해의 정의역 상한과 하한의 차이를 평가함으로써 진정한 ERM 해에 대한 보안 근사 경계를 구성한다.
• 암호 해독 없이도 경계를 계산함으로써 전체 과정에서 데이터 기밀성을 유지한다.
• 진정한 해에 종속되지 않도록 설계하여, 기준 진짜 값을 알지 못해도 근사 해의 정당성을 실용적으로 검증할 수 있도록 한다.
• 로지스틱, 포isson, 지수 회귀 문제에 이 방법을 적용하여 그 일반성과 확장 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 암호학적으로 기밀을 유지하는 환경에서 ERM 해의 근사 오차에 대해 비확률적이고 가정 없는 경계를 제공할 수 있는가?
• RQ2 MPC 환경에서 로짓 또는 지수 함수와 같은 비선형 함수의 평가가 계산적으로 불가능할 경우, 진정한 ERM 해의 경계를 안전하게 계산할 수 있는가?
• RQ3 제안된 SAG 방법은 기존의 확률적 접근 방식(Nardi 등, 2015)보다 더 날카우면서도 신뢰할 수 있는 경계를 제공할 수 있는가?
• RQ4 SAG 방법은 기술적 의사결정 지원, 예를 들어 환자 분류나 유전체 및 임상 데이터에서 중요한 특징 식별과 같은 보안 기반 머신러닝 작업에서 얼마나 실용적으로 활용될 수 있는가?
• RQ5 SAG 방법의 계산 비용은 근사에 사용된 조각별 선형 세그먼트 수에 따라 어떻게 증가하는가?

주요 결과

• SAG 방법은 ERM 해의 근사 오차에 대해 비확률적이고 가정 없는 경계를 제공하여, 진정한 해에 접근할 수 없더라도 해의 품질을 평가할 수 있도록 한다.
• 로지스틱 회귀 실험에서 조각별 선형 세그먼트 수 $ K $ 를 100에서 1000으로 증가시켰을 때 SAG 경계가 크게 날카워졌으며, $ K=100 $ 일 때는 1개의 인스턴스당 381.089초, $ K=1000 $ 일 때는 3717.569초가 소요되어 거의 선형적인 계산 스케일링을 보였다.
• SAG 경계는 Nardi 등의 방법에서 제시한 확률적 경계보다 훨씬 날카롭게, 더 많은 검증 인스턴스가 긍정 또는 부정으로 신뢰성 있게 분류될 수 있도록 했다(그림 1의 초록 히스토그램 참조).
• 포isson 회귀의 경우, 예측된 씨앗 수에 대한 SAG 간격은 항상 날카롭게 유지되었고, 진짜 값이 포함되어 있어 예측의 신뢰성을 입증했다.
• 생존 시간 예측을 위한 지수 회귀에서 SAG 경계는 진짜 생존 확률 곡선을 완전히 둘러싸며, 이는 방법의 정확성과 강건성을 확인한다.
• 실제 유전체 및 임상 데이터 분석 과제에서 SAG 방법은 진짜 계수를 알지 못해도 경계가 0을 가로질러 양의 또는 음의 상관관계를 갖는 특징을 성공적으로 식별했다.