[논문 리뷰] Popcorn: Paillier Meets Compression For Efficient Oblivious Neural Network Inference

Jun Wang, Chao Jin외 2명|arXiv (Cornell University)|2021. 07. 05.

Cryptography and Data Security참고 문헌 35인용 수 5

한 줄 요약

Popcorn은 신경망 아키텍처를 수정하지 않고도 효율적인 무관심 추론을 가능하게 하는, 풀리어 암호화 기반의 프라이버시 보장 신경망 추론 프레임워크이다. 이는 신경망 압축과 동형 연산을 활용하여 통신 오버헤드를 줄이며, 기존 방법에 비해 상당한 대역폭 이점을 확보한 첫 번째 ImageNet에서의 성공적인 무관심 추론을 입증한다.

ABSTRACT

Oblivious inference enables the cloud to provide neural network inference-as-a-service (NN-IaaS), whilst neither disclosing the client data nor revealing the server's model. However, the privacy guarantee under oblivious inference usually comes with a heavy cost of efficiency and accuracy. We propose Popcorn, a concise oblivious inference framework entirely built on the Paillier homomorphic encryption scheme. We design a suite of novel protocols to compute non-linear activation and max-pooling layers. We leverage neural network compression techniques (i.e., neural weights pruning and quantization) to accelerate the inference computation. To implement the Popcorn framework, we only need to replace algebraic operations of existing networks with their corresponding Paillier homomorphic operations, which is extremely friendly for engineering development. We first conduct the performance evaluation and comparison based on the MNIST and CIFAR-10 classification tasks. Compared with existing solutions, Popcorn brings a significant communication overhead deduction, with a moderate runtime increase. Then, we benchmark the performance of oblivious inference on ImageNet. To our best knowledge, this is the first report based on a commercial-level dataset, taking a step towards the deployment to production.

연구 동기 및 목표

• 신경망 추론의 효율성과 프라이버시 간의 상충 관계를 최소화하여 통신 및 계산 오버헤드를 줄이는 것.
• 신경망 아키텍처를 수정하지 않고도 프라이버시 보장 추론을 가능하게 하여 모델 정확도를 유지하는 것.
• 단지 Paillier 동형 연산에 의존하여 엔지니어링 복잡성을 줄여 기계학습 엔지니어들이 쉽게 배포할 수 있도록 하는 것.
• 이전 연구에서 보고되지 않은 바와 같이, ImageNet과 같은 대규모 데이터셋에서의 무관심 추론의 실용적 가능성을 입증하는 것.
• 모델 가중치와 아키텍처를 레이어 뉴런 수를 넘어서 숨기는 방식으로 프라이버시 누출과 성능 간의 균형을 이루는 것.

제안 방법

• 신경망 내 표준 대수 연산을 동형 암호화 기반의 Paillier 등가 연산으로 대체하여 암호화된 데이터에서의 계산을 가능하게 하는 것.
• 특히 ReLU 활성화 함수와 최대풀링 연산을 Paillier 프레임워크 내에서 안전하고 효율적으로 계산하기 위한 새로운 프로토콜을 설계하는 것.
• 가중치 프루닝과 양자화와 같은 신경망 압축 기법을 적용하여 선형 레이어(예: 컨볼루션 및 완전 연결 레이어)의 처리 속도를 향상시키는 것.
• Paillier의 SIMD 유사 기능을 활용하여 다수의 입력을 하나의 암호문에 팩킹함으로써 통신 및 계산 비용을 분산 처리하는 것.
• 모델 아키텍처에 대한 변경 없이도 통합 가능한 비침습적 프레임워크를 구현하여 기존 모델과의 플러그 앤 플레이 통합을 가능하게 하는 것.
• 선형 레이어는 동형 연산이 담당하고 비선형 연산은 고유 프로토콜이 담당하는 하이브리드 접근 방식을 사용하여 복잡한 암호 기반 원자재에 대한 의존도를 최소화하는 것.

실험 결과

연구 질문

• RQ1 동형 암호화 기반 프레임워크가 신경망 아키텍처를 수정하지 않고도 효율적인 무관심 추론을 달성할 수 있는가?
• RQ2 ReLU 및 최대풀링과 같은 비선형 연산은 Paillier 동형 암호화 환경에서 어떻게 안전하고 효율적으로 계산될 수 있는가?
• RQ3 신경망 압축 기법이 암호화된 추론에서 계산 및 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 실용적이고 낮은 누출을 가진 프레임워크로 대규모 데이터셋인 ImageNet에서의 무관심 추론이 가능한가?
• RQ5 Popcorn의 통신 복잡도는 XONN 및 Gazelle와 같은 기존 솔루션과 비교해 볼 때, 대규모 모델에서 어떻게 다를까?

주요 결과

• MNIST 및 CIFAR-10 작업에서 Popcorn은 통신 대역폭을 1MB 이하로 유지하여 XONN 및 Gazelle와 같은 이전 연구들보다 크게 낮춘다.
• AlexNet을 사용한 ImageNet 추론에서 Popcorn은 합리적인 통신 오버헤드를 유지하지만, Gazelle의 구현은 메모리 부족 오류로 실패한다.
• Popcorn의 통신 복잡도는 활성화 수 n에 대해 O(n)이며, XONN 및 Gazelle와 같은 아키텍처 의존적 기법보다 더 유연한 확장성을 보인다.
• 실행 시간 증가는 적당한 수준이지만 통신 오버헤드는 극적으로 감소하여 Popcorn이 대규모 모델에 특히 유리하다.
• Popcorn은 최신 모델을 사용하여 ImageNet 스케일의 분류 작업에서 성공적인 무관심 추론을 보고한 최초의 프레임워크이다.
• 간단한 대수 연산을 동형 등가 연산으로 교체하기만 하면 되므로 엔지니어링 복잡성이 극도로 낮아, 실용적인 배포를 가능하게 한다.