[논문 리뷰] Partially Encrypted Machine Learning using Functional Encryption

Théo Ryffel, Edouard Dufour-Sans외 3명|arXiv (Cornell University)|2019. 05. 24.

Cryptography and Data Security참고 문헌 32인용 수 14

한 줄 요약

이 논문은 기능 암호화(FE)를 사용하여 부분 암호화된 신경망 추론을 가능하게 하는 실용적인 프레임워크를 제안한다. 제곱 함수를 위한 효율적인 FE 체계를 도입하고, 복호화된 중간 출력에서의 누출을 최소화하기 위해 적대적 훈련을 통합하여, 민감한 특징에 대해 강력한 프라이버시 보장을 받는 수정된 MNIST 데이터셋에서 97.7% 이상의 정확도를 달성한다.

ABSTRACT

Machine learning on encrypted data has received a lot of attention thanks to recent breakthroughs in homomorphic encryption and secure multi-party computation. It allows outsourcing computation to untrusted servers without sacrificing privacy of sensitive data. We propose a practical framework to perform partially encrypted and privacy-preserving predictions which combines adversarial training and functional encryption. We first present a new functional encryption scheme to efficiently compute quadratic functions so that the data owner controls what can be computed but is not involved in the calculation: it provides a decryption key which allows one to learn a specific function evaluation of some encrypted data. We then show how to use it in machine learning to partially encrypt neural networks with quadratic activation functions at evaluation time, and we provide a thorough analysis of the information leaks based on indistinguishability of data items of the same label. Last, since most encryption schemes cannot deal with the last thresholding operation used for classification, we propose a training method to prevent selected sensitive features from leaking, which adversarially optimizes the network against an adversary trying to identify these features. This is interesting for several existing works using partially encrypted machine learning as it comes with little reduction on the model's accuracy and significantly improves data privacy.

연구 동기 및 목표

• 모델 예측의 전체 평문 노출을 피하기 위해 중간 출력만 복호화되는 프라이버시 보장 기반 머신러닝을 가능하게 하기 위해.
• 특히 최종 분류 레이어에서 발생하는 정보 누출 문제를 해결하기 위해.
• 제곱 함수를 위한 효율적인 기능 암호화 체계를 설계하여 암호화된 데이터에서의 안전한 계산을 가능하게 하기 위해.
• 복호화된 중간 활성화 값에 대한 특징 추론 공격에 강건한 모델을 만들기 위해 일반화된 적대적 훈련 방법을 개발하기 위해.
• 최소한의 정확도 손실로 실제 이미지 분류 작업에 대해 이론적 실용성을 입증하기 위해.

제안 방법

• 제곱형태의 계산에 최적화된 새로운 기능 암호화 체계를 제안하여 이전 연구 대비 효율성과 복잡도에서 향상된 성능을 확보한다.
• 이 FE 체계를 사용해 다항식 신경망의 첫 번째 레이어를 암호화하여 암호화된 입력에서의 안전한 평가를 가능하게 한다.
• 복호화된 중간 레이어 출력에서의 정보 누출을 최소화하기 위해 최적화된 새로운 적대적 훈련 절차를 도입한다.
• 동일한 클래스에 속하는 데이터 항목 간에 민감한 특징을 식별할 수 없도록 하기 위해, 암호화된 출력에서 특징을 구분할 수 없도록 하는 훈련 목표를 도입한다.
• 특정 기능 평가(예: 제곱형태)만 공개하고 원본 입력을 노출하지 않기 위해 두 개의 비밀 키를 사용하는 이중 암호화 메커니즘을 적용한다.
• 두 글꼴의 MNIST 유사 데이터셋을 대상으로 이미지 분류에 이 프레임워크를 적용하여, 3초 이내에 추론을 완료한다.

실험 결과

연구 질문

• RQ1 기능 암호화가 제곱 함수 계산에 대해 효율적으로 사용될 수 있는가? 이는 안전한 신경망 추론을 지원할 수 있는가?
• RQ2 부분 암호화된 모델에서 복호화된 중간 레이어 출력에서의 정보 누출은 어떻게 최소화할 수 있는가?
• RQ3 적대적 훈련을 통해 복호화된 출력에 대한 특징 추론 공격에 강건한 신경망을 만들 수 있는가?
• RQ4 부분 암호화된 머신러닝 시스템에서 정확도와 프라이버시 사이의 상호 교환 관계는 어떠한가?
• RQ5 상호작용이 없는 상태에서 FE를 사용하여 암호화된 데이터에서 안전하고 저지연 추론을 수행하는 것은 가능한가?

주요 결과

• 제곱 함수를 위한 제안된 기능 암호화 체계는 이전 연구 대비 계산 복잡도와 효율성 면에서 뛰어난 성능을 보였다.
• 두 글꼴의 MNIST 분류 작업에서 97.7% 이상의 정확도를 달성하였고, 모델의 최종 예측 결과는 직접적으로 노출되지 않았다.
• 적대적 훈련은 복호화된 중간 활성화 값에서 민감한 특징을 추론하는 공격자의 능력을 크게 감소시켰다.
• 데이터 소유자가 온라인일 필요 없이도 암호화된 입력에서 안전하고 저지연 추론(3초 이내)을 수행할 수 있었다.
• 공격자가 동일한 레이블을 가진 데이터 항목을 복호화된 출력을 바탕으로 구분할 수 없도록 하여 프라이버시를 강화하였다.
• 이 방법은 기존의 암호화된 머신러닝 파ipeline과 호환되며 다양한 반암호화 신경망 아키텍처에 적용 가능하다.