[논문 리뷰] Encrypted statistical machine learning: new privacy preserving methods

Louis J. M. Aslett, Pedro M. Esperança외 1명|arXiv (Cornell University)|2015. 08. 27.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 52

한 줄 요약

이 논문은 완전한 동형 암호화(FHE)를 사용하여 복호화 없이 암호화된 데이터에서 안전한 학습과 예측을 가능하게 하는 두 가지 새로운 프라이버시 보장 기반 기계학습 방법—암호화된 극단적으로 랜덤한 숲과 암호화된 나이브 베이즈—을 제안한다. 저자들은 FHE 환경에서 투표를 근사하기 위한 암호학적 확률 추정기와 의사결정 경계를 정의하기 위해 로지스틱 회귀를 사용하는 반모수적 모델을 도입하여, UCI 데이터셋에서 비암호화 모델과 정확히 동일한 성능을 보이며 경쟁적인 성능을 입증한다. 100개의 트리를 가진 숲는 1,152개의 코어를 사용해 1시간 36분 만에 학습되었으며, 비용은 23.86달러였다.

ABSTRACT

We present two new statistical machine learning methods designed to learn on fully homomorphic encrypted (FHE) data. The introduction of FHE schemes following Gentry (2009) opens up the prospect of privacy preserving statistical machine learning analysis and modelling of encrypted data without compromising security constraints. We propose tailored algorithms for applying extremely random forests, involving a new cryptographic stochastic fraction estimator, and naïve Bayes, involving a semi-parametric model for the class decision boundary, and show how they can be used to learn and predict from encrypted data. We demonstrate that these techniques perform competitively on a variety of classification data sets and provide detailed information about the computational practicalities of these and other FHE methods.

연구 동기 및 목표

• 다중 당사자 계산을 사용하지 않고도 통계 모델에 대한 엔드 투 엔드 암호화된 기계학습을 가능하게 하기 위해.
• 실제 기계학습 응용 분야에서 완전한 동형 암호화(FHE)의 실용적 한계를 해결하기 위해.
• 암호화된 데이터에서 완전히 작동하면서도 모델 정확도를 유지하는 맞춤형 알고리즘을 개발하기 위해.
• 클라우드 인프라를 사용하여 대규모 데이터에서 FHE 기반 학습의 계산 가능성과 성능을 입증하기 위해.
• 재현 가능하고 접근 가능한 프라이버시 보장 기반 기계학습을 위한 오픈소스 R 구현을 제공하기 위해.

제안 방법

• FHE 환경에서 극단적으로 랜덤한 숲의 투표를 근사하기 위해 암호학적 확률 추정기를 제안하여 보안적인 트리 구축을 가능하게 한다.
• 의사결정 경계를 정의하기 위해 로지스틱 회귀를 사용하는 반모수적 나이브 베이즈 모델을 개발하여 동형 연산과 호환된다.
• 동형 암호화 원리를 사용하여 원래의 랜덤 숲 및 나이브 베이즈 알고리즘을 암호화된 데이터에서만 작동하도록 변형한다.
• 모든 연산—학습, 예측, 모델 조합—을 복호화 없이 동형 암호화를 통해 수행한다.
• Amazon EC2의 스포트 인스턴스를 사용하여 분산형, 매우 병렬화된 아키텍처를 활용해 1,152개의 CPU 코어에 걸쳐 학습을 확장한다.
• 노드 간 통신 없이 지리적으로 산재한 노드 간 암호화된 계산을 조율하기 위해 Amazon SQS와 S3를 사용하는 작업 디스패치 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 완전한 동형 암호화(FHE)를 사용하여 극단적으로 랜덤한 숲을 암호화된 데이터에서 완전히 작동하도록 조정할 수 있는가?
• RQ2 의사결정 경계의 동형 연산을 지원할 수 있는 반모수적 나이브 베이즈 모델을 구성할 수 있는가?
• RQ3 표준 벤치마크 데이터셋에서 암호화된 기계학습 모델의 성능은 비암호화된 모델과 비교해 어떻게 되는가?
• RQ4 클라우드 인프라에서 FHE 기반 기계학습의 실용적 계산 비용과 확장성 특성은 어떠한가?
• RQ5 암호화된 모델을 복호화 없이 동형으로 조합하여 단일의 통합 모델을 생성할 수 있는가?

주요 결과

• 암호화된 극단적으로 랜덤한 숲과 나이브 베이즈 모델은 여러 UCI 데이터셋에서 비암호화된 모델과 경쟁 가능한 분류 성능을 달성했다.
• 암호화된 모델 결과는 복호화했을 때 비암호화된 계산과 비트 단위로 정확히 일치하여 동형 구현의 정확성을 확인했다.
• 100개의 트리를 가진 랜덤 숲는 두 개의 클라우드 지역에 걸쳐 1,152개의 CPU 코어를 사용해 1시간 36분 만에 학습되었으며, Amazon EC2 스포트 인스턴스를 통해 총 23.86달러의 비용이 들었다.
• 최종 암호화된 숲 100개의 트리는 868MB의 스토리지만 필요로 했으며, 36개의 별도의 50개 트리 숲(15.6GB)에 비해 상당한 장기적 데이터 압축을 가능하게 했다.
• 모델 피팅과 예측을 모두 암호화된 형태로 수행할 수 있어 다중 당사자 계산이나 보안 통신 채널이 필요 없어졌다.
• 현대 CPU에서 널리 지원되고 병렬화 가능한 동형 덧셈과 곱셈을 활용함으로써 효율적인 확장성이 확보되었다.