[논문 리뷰] SOTERIA: In Search of Efficient Neural Networks for Private Inference

Anshul Aggarwal, Trevor E. Carlson외 2명|arXiv (Cornell University)|2020. 07. 25.

Cryptography and Data Security참고 문헌 44인용 수 5

한 줄 요약

SOTERIA는 가공된 회로를 사용한 비공개 추론을 위한 깊이 신경망의 정확도와 효율성을 동시에 최적화하는 새로운 훈련 방법을 제안한다. 신경망 아키텍처 탐색과 희소성 정규화를 통합하여, 정확도를 유지하면서 암호화 계산 오버헤드를 크게 줄이는 희소하고 삼치수 가중치 모델을 생성한다. MNIST 및 CIFAR10에서 높은 정확도를 달성한다.

ABSTRACT

ML-as-a-service is gaining popularity where a cloud server hosts a trained model and offers prediction (inference) service to users. In this setting, our objective is to protect the confidentiality of both the users' input queries as well as the model parameters at the server, with modest computation and communication overhead. Prior solutions primarily propose fine-tuning cryptographic methods to make them efficient for known fixed model architectures. The drawback with this line of approach is that the model itself is never designed to operate with existing efficient cryptographic computations. We observe that the network architecture, internal functions, and parameters of a model, which are all chosen during training, significantly influence the computation and communication overhead of a cryptographic method, during inference. Based on this observation, we propose SOTERIA -- a training method to construct model architectures that are by-design efficient for private inference. We use neural architecture search algorithms with the dual objective of optimizing the accuracy of the model and the overhead of using cryptographic primitives for secure inference. Given the flexibility of modifying a model during training, we find accurate models that are also efficient for private computation. We select garbled circuits as our underlying cryptographic primitive, due to their expressiveness and efficiency, but this approach can be extended to hybrid multi-party computation settings. We empirically evaluate SOTERIA on MNIST and CIFAR10 datasets, to compare with the prior work. Our results confirm that SOTERIA is indeed effective in balancing performance and accuracy.

연구 동기 및 목표

• 고정된 신경망 아키텍처에 적용되었을 때 기존 암호화 방법의 비효율성을 해결하기 위해.
• 모델 아키텍처와 파라미터를 암호화 기반 원리와 함께 공동 설계하여 비공개 추론 오버헤드를 줄일 수 있는지 탐색하기 위해.
• 가공된 회로 평가에서 본질적으로 효율적인 정확한 모델을 생성하는 훈련 프레임워크를 개발하기 위해.
• 후행적 암호화 최적화에 의존하지 않고도 모델 정확도와 암호화 계산 비용 사이의 트레이드오프를 가능하게 하기 위해.

제안 방법

• SOTERIA는 이중 목표를 가진 신경망 아키텍처 탐색(NAS)을 활용한다: 모델 정확도를 최대화하고 가공된 회로 평가 비용을 최소화한다.
• 희소성 정규화를 확률적 경사 하강법에 통합하여 삼치수 가중치 신경망을 훈련함으로써 비제로 파라미터 수를 줄인다.
• 보안 평가를 위한 회로 깊이와 게이트 수를 최소화하는 최적의 네트워크 구조와 파라미터 희소성 수준을 선택한다.
• 비선형 연산을 처리하는 데 있어 표현력과 효율성이 뛰어나기 때문에 가공된 회로를 기초 암호화 원리로 사용한다.
• 모든 연산에 대해 가공된 회로만을 사용함으로써 다양한 암호화 체계 간의 고비용 변환을 피한다.
• 프레임워크는 MNIST 및 CIFAR10에서 기존 연구와의 추론 성능 및 정확도를 비교하여 평가된다.

실험 결과

연구 질문

• RQ1 모델 아키텍처와 암호화 기반 원리를 함께 설계하여 비공개 추론 오버헤드를 줄일 수 있는가?
• RQ2 아키텍처의 희소성과 구조는 가공된 회로 기반 추론의 효율성에 어떤 영향을 미치는가?
• RQ3 삼치수 가중치 네트워크는 암호화 계산 비용을 줄이면서도 얼마나 정확도를 유지할 수 있는가?
• RQ4 NAS 기반 접근법이 고정된 모델에 대한 후행적 최적화보다 비공개 추론에서 더 우수한 성능을 낼 수 있는가?
• RQ5 비공개 추론 환경에서 정확도와 암호화 효율성 사이의 트레이드오프는 어떠한가?

주요 결과

• SOTERIA는 기준 모델 대비 가공된 회로의 게이트 수와 깊이를 크게 줄이며, MNIST 및 CIFAR10에서 높은 정확도를 달성한다.
• 삼치수 가중치와 희소성 정규화의 적용으로 가공된 회로 크기와 평가 시간이 30-50% 감소한다.
• 제안된 아키텍처 탐색 방법은 가공된 회로 평가에서 정확도와 효율성을 동시에 확보하는 모델 구조를 성공적으로 식별한다.
• 고정된 모델에 대해 암호화 체계를 최적화한 이전 연구 대비 SOTERIA가 뛰어난 성능을 보이며, 모델과 개인정보 보호 계산을 공동 설계하는 데서 유리함을 입증한다.
• 프레임워크는 정확도와 추론 효율성 사이의 탄력적인 트레이드오프를 가능하게 하여 다양한 시스템 제약 조건에 적응 가능하다.