[논문 리뷰] QUOTIENT: Two-Party Secure Neural Network Training and Prediction

Nitin Agrawal, Ali Shahin Shamsabadi외 2명|arXiv (Cornell University)|2019. 07. 08.

Privacy-Preserving Technologies in Data참고 문헌 53인용 수 29

한 줄 요약

QUOTIENT는 삼치수 가중치와 최적화된 보안 계산 기반 원리를 결합한 새로운 양자간 보안 프로토콜을 제안한다. 이는 양자간 계산(MPC) 기반의 관련된 무작위 전송을 기반으로 한 양자화된 학습과 공동 설계함으로써, 기존의 SecureML과 비교해 광역망(WAN)에서 50배 빠른 학습과 6% 높은 정확도를 달성한다.

ABSTRACT

Recently, there has been a wealth of effort devoted to the design of secure protocols for machine learning tasks. Much of this is aimed at enabling secure prediction from highly-accurate Deep Neural Networks (DNNs). However, as DNNs are trained on data, a key question is how such models can be also trained securely. The few prior works on secure DNN training have focused either on designing custom protocols for existing training algorithms, or on developing tailored training algorithms and then applying generic secure protocols. In this work, we investigate the advantages of designing training algorithms alongside a novel secure protocol, incorporating optimizations on both fronts. We present QUOTIENT, a new method for discretized training of DNNs, along with a customized secure two-party protocol for it. QUOTIENT incorporates key components of state-of-the-art DNN training such as layer normalization and adaptive gradient methods, and improves upon the state-of-the-art in DNN training in two-party computation. Compared to prior work, we obtain an improvement of 50X in WAN time and 6% in absolute accuracy.

연구 동기 및 목표

• 두 명의 참가자 간 계산(2PC) 환경에서 깊이 신경망(DNN)을 위한 실용적이고 확장 가능한 보안 학습 프로토콜의 부족을 해결한다.
• 기존 연구의 한계—긴 오프라인 단계, 실용적이지 않은 WAN 성능, 낮은 모델 정확도—를 극복하기 위해 머신러닝 알고리즘과 MPC 프로토콜을 공동 설계한다.
• 2PC 환경 내에서 배치 정규화나 적응형 최적화 방법과 같은 현대 DNN 구성 요소의 보안 학습을 가능하게 한다.
• 로컬 영역망(LAN)과 광역망(WAN) 모두에서 실용적인 종단 간 학습 및 예측 시간을 확보하여 보안 DNN 학습을 실제 응용에 가능하게 한다.
• 정확도 손실를 최소화하면서도 강력한 프라이버시 보장을 유지함으로써 보안 DNN와 표준 DNN 간 성능 격차를 좁힌다.

제안 방법

• 정방향 및 역방향 전파 동안 네트워크 가중치를 {-1, 0, 1}로 양자화하여 보안 계산을 단순화하고 통신 오버헤드를 감소시킨다.
• 관련된 무작위 전송 기반의 특수한 보안 프로토콜을 설계하여 삼치수 행렬-벡터 곱셈을 수행하며, 효율성을 위해 부울 공유와 덧셈 공유를 조합한다.
• 표준 연산(예: 양자화 및 정규화)을 MPC에 적합한 대체 연산으로 대체하여 역방향 전파를 최적화한다.
• 임베디드 DNN 학습에서의 고정점 양자화 기법(예: Wu 등, 2018)을 활용하여 저정밀 산술 환경에서도 최적화 안정성을 확보한다.
• 반반만의 보안성(semi-honest security)을 갖춘 두 명의 참가자 계산(2PC) 프로토콜을 구현하여 라운드 트립 수와 통신 부담을 최소화하여 WAN 배포를 가능하게 한다.
• 완전히 연결된, 컨볼루션 및 잔여 연결 네트워크를 지원하는 전체 학습 파이프라인에 프로토콜를 통합하여 보안 학습 및 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 배치 정규화나 적응형 최적화기와 같은 복잡한 구성 요소를 갖춘 현대 DNN를 위한 보안 양자간 계산이 실용적으로 가능할 수 있는가?
• RQ2 머신러닝 알고리즘과 보안 계산 프로토콜을 공동 설계함으로써 2PC 환경에서의 통신 및 지연 오버헤드를 어떻게 줄일 수 있는가?
• RQ3 가중치를 삼치수 값으로 양자화하는 것이 정확도 손실 없이 보안 DNN 학습의 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 통신 지연이 성능을 지배하는 광역망(WAN) 환경에서도 보안 DNN 학습이 확장 가능하게 만들 수 있는가?
• RQ5 학습 알고리즘과 기초 MPC 프로토콜을 공동 최적화함으로써 달성할 수 있는 성능 및 정확도 향상 수준은 어느 정도인가?

주요 결과

• 2PC-QUOTIENT는 3층 MNIST 네트워크에 대해 WAN에서 기존의 SecureML 대비 50배 빠른 학습을 달성하여 학습 시간을 4,000시간 이상에서 90시간 이내로 단축시켰다.
• 로컬 영역망(LAN)에서도 SecureML 대비 5배 빠른 학습 속도를 확보하여 대부분의 모델에서 10에포크 학습을 12일 이내로 완료했다.
• QUOTIENT는 MNIST에서 테스트 정확도 99.38%를 달성하여, 수렴 시점에서 SecureML의 오차율 대비 6%의 절대 정확도 향상을 보였다.
• 단일 예측은 LAN에서 SecureML 대비 13배, WAN에서 3배 더 빠르며, 배치 예측은 각각 7배와 50배 더 빠르게 수행되었다.
• 컨볼루션 및 잔여 연결 네트워크의 보안 학습을 지원하여, 이전에는 2PC 환경에서 실현 가능하지 않았던 핵심 기술적 진전을 이룩했다. 이는 이러한 아키텍처에 대한 첫 번째 실용적인 2PC 솔루션이다.
• 통신 및 라운드 트립 오버헤드를 최소화하여 WAN에서 LAN 대비 5배 이내의 성능 저하를 기록했으며, 이는 이전 연구들에 비해 훨씬 우수한 성능을 보였다.