[논문 리뷰] Additively Homomorphical Encryption based Deep Neural Network for Asymmetrically Collaborative Machine Learning

Yifei Zhang, Hao Zhu|arXiv (Cornell University)|2020. 07. 14.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 29

한 줄 요약

이 논문은 데이터와 레이블을 별개의 당사자가 보유하는 비대칭적 협업 기계학습을 위한 새로운 프라이버시 보장 기반 딥 뉴럴 네트워크 프레임워크를 제안한다. 네트워크를 암호화되지 않은 특징 추출기와 암호화된 분류기로 분할하고, 히든 프로토콜 기반의 동형 암호화를 활용한 역전파 프로토콜을 설계함으로써, 정확도 손실 없이 최신 기술 대비 100배 이상의 속도 향상을 달성하여 금융 및 보험 분야에서 효율적이고 프라이버시 보장된 모델 훈련을 가능하게 한다.

ABSTRACT

The financial sector presents many opportunities to apply various machine learning techniques. Centralized machine learning creates a constraint which limits further applications in finance sectors. Data privacy is a fundamental challenge for a variety of finance and insurance applications that account on learning a model across different sections. In this paper, we define a new practical scheme of collaborative machine learning that one party owns data, but another party owns labels only, and term this extbf{Asymmetrically Collaborative Machine Learning}. For this scheme, we propose a novel privacy-preserving architecture where two parties can collaboratively train a deep learning model efficiently while preserving the privacy of each party's data. More specifically, we decompose the forward propagation and backpropagation of the neural network into four different steps and propose a novel protocol to handle information leakage in these steps. Our extensive experiments on different datasets demonstrate not only stable training without accuracy loss, but also more than 100 times speedup compared with the state-of-the-art system.

연구 동기 및 목표

• 금융 및 보험 분야와 같이 프라이버시가 중요한 분야에서 데이터와 레이블을 별도로 보유하는 당사자 간에 딥 뉴럴 네트워크를 공동으로 훈련시키는 문제를 해결하기 위해.
• 직접 암호화된 데이터에서 계산을 수행하지 않도록 하여 계산 오버헤드를 줄이는 효율적인 프라이버시 보장 훈련 프로토콜을 설계하기 위해.
• 수직적으로 분할된 비대칭 협업 학습 환경에서 역전파 과정 동안의 정보 泄露를 완화하기 위해.
• MNIST 및 CIFAR-10과 같은 복잡한 데이터셋에서 데이터와 레이블의 프라이버시를 유지하면서 고성능 훈련을 가능하게 하기 위해.
• 입력 차원과 신경망 아키텍처의 변화에 대해 수학적 방법이 얼마나 강건한지 검증하기 위해.

제안 방법

• 딥 뉴럴 네트워크를 로컬에서 암호화되지 않은 특징 추출기와 암호화된 분류기로 분해함으로써, 동형 암호화 오버헤드를 최소화한다.
• 전방 및 역방향 전파를 네 단계로 분할하여 민감한 연산(특히 기울기 계산)을 격리하고 보호한다.
• 특징 추출기와 분류기 간의 기울기 전달 과정에서의 정보 泄露를 방지하기 위해 새로운 동형 암호화 기반 역전파 프로토콜을 설계한다.
• 덧셈형 동형 암호화(AHE)를 사용하여 암호화된 특징에서 계산을 수행함으로써, 수동 당사자가 원본 데이터를 알 수 없도록 보장한다.
• 암호화 이전에 입력 차원을 감소시키는 특징 추출 단계를 통해 효율성을 크게 향상시키고, 동형 연산 횟수를 줄인다.
• 완전한 동형 암호화(FHE)보다 빠른 부분 동형 암호화(PHE)를 사용하여 실용적인 추론 시간을 확보한다.

실험 결과

연구 질문

• RQ1 데이터와 레이블을 별개의 당사자가 보유하는 상황에서 원본 데이터나 레이블을暴露하지 않고 딥 뉴럴 네트워크를 공동으로 훈련시킬 수 있는가?
• RQ2 수직적으로 분할된 비대칭 협업 학습 환경에서 역전파 과정 동안의 정보 泄露를 어떻게 방지할 수 있는가?
• RQ3 암호화된 딥 뉴럴 네트워크의 계산 비용을 줄여 실생활 데이터셋(예: MNIST 및 CIFAR-10)에서 실용적인 훈련을 가능하게 할 수 있는가?
• RQ4 기존의 동형 암호화 기반 모델과 비교해 본다면, 제안된 방법은 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 입력 차원과 신경망 아키텍처의 변화에 대해 제안된 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법은 최신 기술인 GELU-Net 대비 100배 이상의 속도 향상을 달성했으며, LeNet-5를 사용할 경우 MNIST에서 추론 시간이 단 0.0583초에 불과하다.
• MNIST에서 테스트 정확도가 99%를 유지하여 GELU-Net 및 다항 로지스틱 회귀 모델과 비교해도 성능이 동등하거나 이를 초월한다.
• 출력 차원이 동일한 경우(예: LeNet-5 및 Conv-1) 다양한 아키텍처에서 계산 시간이 거의 일정하게 유지되며, 이는 분류기가 주요 계산 병목임을 시사한다.
• 입력 차원에 민감하지 않으며, MNIST(28×28)와 CIFAR-10(32×32×3)에서 추론 시간이 거의 동일하여, 원본 데이터를 직접 암호화해 처리하는 모델과는 대조된다.
• 다항 로지스틱 회귀 모델보다 속도와 정확도에서 뛰어난 성능을 보이며, 암호화된 표현에서의 딥 특징 학습의 이점을 입증한다.
• 계산 비용이 주로 암호화된 분류기에 집중되어 있어, 더 깊은 네트워크와 복잡한 데이터에 적합하며, 효율적이고 확장 가능한 시스템임을 입증한다.