[논문 리뷰] Scaling up Trustless DNN Inference with Zero-Knowledge Proofs

Daniel Kang, Tatsunori Hashimoto외 2명|arXiv (Cornell University)|2022. 10. 17.

COVID-19 diagnosis using AI인용 수 11

한 줄 요약

이 논문은 ZK-SNARKs를 사용하여 전체 해상도의 ImageNet 규모 DNN 추론을 검증하는 최초의 Zero-Knowledge 증명 시스템을 제안한다. 이는 일반 하드웨어에서 신뢰할 수 없고 비상호작용적인 모델 예측 검증을 가능하게 한다. 새로운 산술화 최적화 기법을 통해 비선형성에 대한 룩업 어투먼트와 서브서킷 재사용을 적용하여, 이전 작업 대비 최대 1,000배 빠른 증명 시간을 달성했으며, 상위 5개 정확도는 79%를 기록했다.

ABSTRACT

As ML models have increased in capabilities and accuracy, so has the complexity of their deployments. Increasingly, ML model consumers are turning to service providers to serve the ML models in the ML-as-a-service (MLaaS) paradigm. As MLaaS proliferates, a critical requirement emerges: how can model consumers verify that the correct predictions were served, in the face of malicious, lazy, or buggy service providers? In this work, we present the first practical ImageNet-scale method to verify ML model inference non-interactively, i.e., after the inference has been done. To do so, we leverage recent developments in ZK-SNARKs (zero-knowledge succinct non-interactive argument of knowledge), a form of zero-knowledge proofs. ZK-SNARKs allows us to verify ML model execution non-interactively and with only standard cryptographic hardness assumptions. In particular, we provide the first ZK-SNARK proof of valid inference for a full resolution ImageNet model, achieving 79\% top-5 accuracy. We further use these ZK-SNARKs to design protocols to verify ML model execution in a variety of scenarios, including for verifying MLaaS predictions, verifying MLaaS model accuracy, and using ML models for trustless retrieval. Together, our results show that ZK-SNARKs have the promise to make verified ML model inference practical.

연구 동기 및 목표

• 신뢰할 수 없는 ML-as-a-service(MLaaS) 환경에서 머신러닝 모델의 정확한 실행을 검증하는 데 있어 핵심 과제를 해결하기 위해.
• 특히 ImageNet 수준의 모델을 대상으로, 대규모에서 비상호작용적이고 Zero-Knowledge 기반의 DNN 추론 검증을 가능하게 하기 위해.
• ZK-SNARKs를 활용해 MLaaS 예측, 모델 정확도 및 신뢰할 수 없는 문서 검색을 검증하기 위한 실용적인 프로토콜을 설계하기 위해.
• 일반 하드웨어에서 검증이 가능한 수준으로 DNN에 대한 ZK-SNARK 구축을 최적화하기 위해.

제안 방법

• 입력값이나 가중치를 드러내지 않고 정확한 DNN 추론에 대한 간결하고 Zero-Knowledge 증명을 생성하기 위해 ZK-SNARKs를 활용한다.
• 새로운 산술화 기법을 적용: 비선형성에 대한 룩업 어투먼트와 레이어 간 서브서킷 재사용을 통해 회로 크기를 줄인다.
• 암호학적 해시를 통해 모델 가중치를 암시적으로 확정하면서도 정확한 추론을 증명함으로써 모델 기밀성을 유지한다.
• ZK-SNARKs와 경제적 인cent라이브를 조합한 프로토콜을 설계하여 MLaaS, 감사, 검색 환경에서 신뢰할 수 없는 검증을 가능하게 한다.
• 통계적 검증을 위해 샘플 크기를 결정하기 위해 Clopper-Pearson 정확한 신뢰구간과 Hoeffding의 부등식을 사용한다.
• 공개 클라우드 하드웨어(AWS r8i.8xlarge)에서 다양한 프로토콜 파라미터에 따라 증명 및 검증 비용을 추정한다.

실험 결과

연구 질문

• RQ1 ZK-SNARKs는 실용적인 증명 및 검증 시간을 확보하면서 전체 해상도의 ImageNet 모델을 검증하는 데 스케일링될 수 있는가?
• RQ2 모델 가중치 기밀성을 유지하면서 ZK-SNARKs를 효율적으로 DNN 추론에 적용할 수 있는가?
• RQ3 ZK-SNARKs를 사용해 MLaaS 예측과 모델 정확도를 검증할 경우 실질적인 비용과 성능 트레이드오프는 어떠한가?
• RQ4 ZK-SNARK 기반 프로토콜은 악성 환경에서도 신뢰할 수 없는 검증 가능한 문서 검색을 가능하게 할 수 있는가?
• RQ5 제안된 최적화 기법(룩업 어투먼트, 서브서킷 재사용)은 이전 작업 대비 회로 크기와 증명 시간을 얼마나 줄이는가?

주요 결과

• 논문은 일반 하드웨어에서 10초 내로 증명 및 검증이 가능한 전체 해상도의 ImageNet 모델(MobileNet v2)에 대한 최초의 ZK-SNARK 회로를 제시한다.
• 시스템은 ImageNet에서 상위 5개 정확도 79%를 달성하여 실세계 DNN 추론 검증의 실현 가능성을 입증한다.
• 증명 시간은 이전 작업 대비 최대 1,000배 빠르며, 기존 방법의 하한 값보다 크게 높다.
• 증명 크기는 MPC 기반 접근 방식보다 수 개체 수준으로 작다. MPC 접근 방식은 수십에서 수백 GB까지 필요로 할 수 있다.
• 비용 추정 결과, Google Cloud Vision API 예측을 검증할 경우, MobileNet v2의 효율성 수준으로 스케일링하면 추가 비용은 약 4%에 불과하다.
• 목표 정확도의 ε=1% 이내에서 모델 정확도를 검증하기 위해서는 약 15,000개의 샘플과 δ=5%일 때 약 $2,500의 클라우드 비용이 필요하며, 이는 헬스케어나 금융과 같은 고위험 분야에서 실현 가능하다.