[논문 리뷰] Secure Quantized Training for Deep Learning

Marcel Keller, Ke Sun|arXiv (Cornell University)|2021. 07. 01.

Cryptography and Data Security참고 문헌 35인용 수 11

한 줄 요약

이 논문은 다자간 계산(MPC)에서 딥 뉴럴 네트워크의 처음으로 종단 간 안전한 양자화 학습을 제안하며, 3.5시간 내에 MNIST에서 99.2%의 정확도를 달성하여 평문 학습과 0.2% 이내로 근접한다. 이는 지수와 역제곱근에 대한 새로운 MPC 최적화 프로토콜을 사용한 결과이다. 이 방법은 신뢰성 있는 및 악의적인 보안 모델 모두에서 높은 효율성으로 기밀 유지 학습을 가능하게 하며, 통신 효율적인 CPU 최적화 설계 덕분에 이전의 GPU 기반 MPC 구현보다 뛰어나다.

ABSTRACT

We implement training of neural networks in secure multi-party computation (MPC) using quantization commonly used in said setting. We are the first to present an MNIST classifier purely trained in MPC that comes within 0.2 percent of the accuracy of the same convolutional neural network trained via plaintext computation. More concretely, we have trained a network with two convolutional and two dense layers to 99.2% accuracy in 3.5 hours (under one hour for 99% accuracy). We have also implemented AlexNet for CIFAR-10, which converges in a few hours. We develop novel protocols for exponentiation and inverse square root. Finally, we present experiments in a range of MPC security models for up to ten parties, both with honest and dishonest majority as well as semi-honest and malicious security.

연구 동기 및 목표

• 모델 가중치나 데이터를 폭 lộ하지 않고 다자간 계산(MPC)을 사용하여 딥 뉴럴 네트워크의 안전하고 기밀 유지 학습을 가능하게 하기.
• 표준 벤치마크인 MNIST 및 CIFAR-10에서 평문 학습 성능에 가까운 높은 모델 정확도를 달성하기.
• 소프트맥스 및 Adam/AMSGrad 최적화기와 같은 핵심 요소로서 중요한 지수와 역제곱근 연산과 같은 계산적으로 부담스러운 연산을 위한 효율적인 MPC 네이티브 프로토콜 개발하기.
• 원자 계산 능력이 아니라 통신 병목 현상으로 인해 CPU 기반 MPC가 GPU 기반 MPC보다 안전한 딥 러닝에서 뛰어난 성능을 보일 수 있음을 입증하기.
• 신뢰성 있는 및 악의적인 보안 모델, 그리고 신뢰성 있는 다수 및 악의적인 다수 모델을 모두 지원하는 확장 가능하고 스케일러블한 기반 프레임워크 제공하기.

제안 방법

• 실수를 $ 2^f $로 스케일링한 후 가장 가까운 정수로 반올림하여 고정소수점 정수로 표현함으로써 유한체 $ \mathbb{Z}_M $ 기반의 정수 산술을 효율적으로 구현함.
• 비선형 함수를 안전하게 계산하기 위해 $ \mathbb{Z}_M $ 기반 정수 산술과 $ \mathbb{Z}_2 $ 기반 이진 회로를 조합한 혼합 회로 계산을 사용함.
• 소프트맥스 및 Adam/AMSGrad 최적화기와 관련된 핵심 연산인 지수와 역제곱근을 위한 새로운 MPC 프로토콜을 도입하며, 공식적인 보안성 및 오차 한계를 확보함.
• MP-SPDZ MPC 프레임워크를 기반으로 하며, 파이토치/텐서플로우와 유사하게 계층별 조합 방식으로 딥 뉴럴 네트워크 모델을 구성하지만, 고성능을 위해 C++ 기반으로 네이티브로 구현함.
• 실제 MPC 환경에 배포하기 전에 정확성과 수렴 성능 예측 가능성을 보장하기 위해 평문 에뮬레이터를 사용해 학습 정확도와 수렴을 벤치마킹함.
• 양자화된 기울기와 비선형성의 안전한 계산을 수행하는 AMSGrad 최적화기를 사용하여, 양자화 및 근사화로 인한 정확도 손실를 최소화함.

실험 결과

연구 질문

• RQ1 안전한 다자간 계산(MPC)이 평문 학습과 유사한 정확도를 달성하는 딥 뉴럴 네트워크의 학습을 가능하게 할 수 있는가?
• RQ2 양자화 및 지수와 역제곱근과 같은 비선형 연산의 안전한 계산이 모델 정확도와 학습 효율성에 어떤 영향을 미치는가?
• RQ3 통신 오버헤드로 인해 CPU 기반 MPC가 GPU 기반 MPC보다 안전한 딥 러닝에서 뛰어난 성능을 보일 수 있는가?
• RQ4 실제 수렴 시간이 합리적인 범위 내에서 애슬레트 넷과 같은 복잡한 모델의 MPC 기반 학습이 효율적으로 수행될 수 있는가?
• RQ5 다양한 MPC 보안 모델(신뢰성 있는 대비 악의적인, 다수 대비 악의적인 다수)이 학습 성능과 확장성에 어떤 영향을 미치는가?

주요 결과

• 저자들은 MPC 내에서 완전히 학습된 두 개의 컨볼루션 및 두 개의 밀집층 네트워크를 사용해 MNIST에서 99.2%의 테스트 정확도를 달성했으며, 이는 평문 기반 기준과 0.2% 이내로 근접해 있다.
• 동일한 모델은 한 시간 이내에 99% 정확도를 달성하여 실세계 기밀 유지 학습의 실현 가능성을 입증했다.
• AlexNet은 MPC를 사용해 CIFAR-10에서 몇 시간 내에 성공적으로 학습되었으며, 더 깊은 아키텍처로의 확장성 확인했다.
• 지수와 역제곱근에 대한 새로운 프로토콜 덕분에 MPC 내에서 소프트맥스 및 Adam/AMSGrad 최적화기의 정확한 계산이 오차가 제한된 범위 내에서 가능했다.
• 통신 효율성 덕분에 CPU 기반 MPC 구현이 GPU 기반 구현보다 학습 속도에서 40% 빠르게 성능을 냈으며, 이는 유일하게 CPU를 사용한 상황임에도 불구하고 성립했다.
• 이 프레임워크는 최대 10명의 참여자까지 지원하는 반면, 반신뢰성 및 악의적인 보안 모델을 모두 지원하여 강건성과 확장성을 입증했다.