[논문 리뷰] Low Latency Privacy Preserving Inference

Alon Brutzkus, Oren Elisha외 1명|arXiv (Cornell University)|2018. 12. 27.

Privacy-Preserving Technologies in Data인용 수 53

한 줄 요약

이 논문은 LoLa를 소개한다, 저지연 동형암호 기반 개인 추론 방법으로 개인 신경망 예측 속도를 현저히 높이고, 깊은 표현을 활용한 전이 학습 접근법으로 대략 0.16초의 지연으로 개인 추론을 가능하게 한다.

ABSTRACT

When applying machine learning to sensitive data, one has to find a balance between accuracy, information security, and computational-complexity. Recent studies combined Homomorphic Encryption with neural networks to make inferences while protecting against information leakage. However, these methods are limited by the width and depth of neural networks that can be used (and hence the accuracy) and exhibit high latency even for relatively simple networks. In this study we provide two solutions that address these limitations. In the first solution, we present more than $10 imes$ improvement in latency and enable inference on wider networks compared to prior attempts with the same level of security. The improved performance is achieved by novel methods to represent the data during the computation. In the second solution, we apply the method of transfer learning to provide private inference services using deep networks with latency of $\sim0.16$ seconds. We demonstrate the efficacy of our methods on several computer vision tasks.

연구 동기 및 목표

• Private neural network inference에서 정확도, 데이터 프라이버시, 계산 효율성 사이의 트레이드오프를 다룬다.
• 보안성을 유지하면서 이전 HE 기반 프라이빗 추론 접근법에 비해 지연 시간과 메모리 사용을 개선한다.
• 정확도를 희생하지 않으면서 더 넓고 더 깊은 네트워크에서의 프라이빗 추론 Enable 한다.
• 노이즈 증가 및 메시지 크기를 줄이기 위해 깊은 표현을 통한 프라이빗 추론을 탐구한다.
• 표준 비주얼 벤치마크(MNIST, CIFAR-10) 및 CalTech-101에서 실제적인 프라이빗 예측을 Demonstrate 한다.

제안 방법

• 뉴럴 네트워크 연산을 encrypted 데이터에 대해 수행하기 위해 동형암호화(BFV 스킴)를 사용한다.
• dense, sparse, interleaved, convolution, stacked 등 여러 데이터 표현으로 암호화된 데이터를 표현하고, 행렬-벡터 곱셈을 최적화하기 위해 표현 간 전환을 활용한다.
• 각 표현에 맞춘 행렬-벡터 곱셈 기법을 개발하고 적용한다( dense-ROW, sparse-COL, stacked-ROW, interleaved-ROW, convolution 표현).
• MNIST에서 입력을 컨볼루션 표현으로 인코딩하고 회전 및 덧셈으로 지연 및 메모리 사용을 최소화하는 Layer별 연산을 수행하여 LoLa를 Demonstrate 한다.
• 메모리 제약으로 CryptoNets가 비현실적인 경우가 많은 대형 네트워크를 사용한 CIFAR-10에 LoLa를 적용하고 가능성을 보여준다.
• 깊은 표현(전이 학습)을 통한 프라이빗 추론을 제안한다. 여기서 깊은 네트워크가 데이터를 압축된 특징 표현으로 전처리한 뒤 이를 암호화하여 프라이빗 평가에 사용한다. CalTech-101에서 0.16초의 지연과 81.6%의 클래스 균형 정확도로 검증한다.

실험 결과

연구 질문

• RQ1 LoLa가 128비트 보안 설정에서 CryptoNets에 비해 현저히 낮은 지연을 달성하면서도 비슷한 정확도를 유지할 수 있는가?
• RQ2 다양한 암호화 데이터 표현이 지연, 메모리 사용, 더 넓고 더 깊은 네트워크로의 확장성에 어떤 영향을 미치는가?
• RQ3 깊은 표현을 활용한 전이 학습이 대규모 비전 작업에 대한 프라이빗 추론의 실현 가능 방법인가?
• RQ4 표준 비전 데이터셋(MNIST, CIFAR-10) 및 전이 학습 시나리오에서 프라이빗 추론을 적용할 때의 실제 성능 트레이드오프는 무엇인가?

주요 결과

• LoLa는 2.2초 수준의 프라이빗 MNIST 추론을 달성하며 CryptoNets보다 약 11배, 전체적으로 약 93배 더 빠르다.
• LoLa는 더 넓은 네트워크에서의 추론을 가능하게 하고 CryptoNets에 비해 메모리 사용을 크게 줄여 CIFAR-10 규모에서 CryptoNets가 RAM 문제로 실패하는 상황을 해결한다.
• LoLa- Dense 및 LoLa-Small 변형은 서로 다른 지연-정확도 트레이드를 제공하며, LoLa는 128비트 보안에서 2.2초 지연과 MNIST에서 98.95% 정확도를 달성한다.
• 깊은 표현을 이용한 전이 학습 기반 프라이빗 추론 방식은 CalTech-101에서 0.16초의 프라이빗 예측과 81.6%의 클래스 균형 정확도를 달성한다.
• CryptoNets의 추론 지연은 원래 205초였고 개선된 SEAL 구현으로 24.8초로 감소했으며; LoLa는 이를 더욱 줄이고 MNIST에서 약 98.95%의 높은 정확도를 유지한다.
• 본 연구는 MNIST와 CIFAR-10 벤치마크 전반에 걸친 프라이빗 추론을 시연하며, 기존 HE 기반 방법보다 지연 및 메모리 효율에서 상당한 이점을 강조한다.