[論文レビュー] Scaling up Trustless DNN Inference with Zero-Knowledge Proofs

Daniel Kang, Tatsunori Hashimoto+2 more|arXiv (Cornell University)|Oct 17, 2022

COVID-19 diagnosis using AI被引用数 11

ひとこと要約

この論文は、ZK-SNARKsを用いて、コンsumerハードウェアで信頼できない環境での非インタラクティブな検証を可能にする、フル解像度のImageNetスケールDNN推論を検証する最初のゼロ知識証明システムを提示する。新規の算術化最適化、たとえば非線形関数のための照合アーギュメントとサブサーキット再利用を用いることで、1,000倍速い証明時間で79%のtop-5精度を達成した。

ABSTRACT

As ML models have increased in capabilities and accuracy, so has the complexity of their deployments. Increasingly, ML model consumers are turning to service providers to serve the ML models in the ML-as-a-service (MLaaS) paradigm. As MLaaS proliferates, a critical requirement emerges: how can model consumers verify that the correct predictions were served, in the face of malicious, lazy, or buggy service providers? In this work, we present the first practical ImageNet-scale method to verify ML model inference non-interactively, i.e., after the inference has been done. To do so, we leverage recent developments in ZK-SNARKs (zero-knowledge succinct non-interactive argument of knowledge), a form of zero-knowledge proofs. ZK-SNARKs allows us to verify ML model execution non-interactively and with only standard cryptographic hardness assumptions. In particular, we provide the first ZK-SNARK proof of valid inference for a full resolution ImageNet model, achieving 79\% top-5 accuracy. We further use these ZK-SNARKs to design protocols to verify ML model execution in a variety of scenarios, including for verifying MLaaS predictions, verifying MLaaS model accuracy, and using ML models for trustless retrieval. Together, our results show that ZK-SNARKs have the promise to make verified ML model inference practical.

研究の動機と目的

• 信頼できないML-as-a-Service（MLaaS）環境におけるMLモデルの正しく実行されているかを検証するという重要な課題に対処すること。
• 特にImageNetレベルのモデルを対象として、大規模な非インタラクティブでゼロ知識のDNN推論検証を可能にすること。
• ZK-SNARKsを用いて、MLaaSの予測、モデルの精度、信頼できない文書検索の検証のための実用的プロトコルを設計すること。
• ZK-SNARKsの構築をDNNに最適化し、コンsumerハードウェアでも検証が可能になるようにすること。

提案手法

• ZK-SNARKsを活用して、入力や重みを露呈せずに正しいDNN推論の短縮されたゼロ知識証明を生成する。
• 新規の算術化技術を採用：非線形関数のための照合アーギュメントと、層間でのサブサーキット再利用により、回路サイズを削減する。
• 暗号的ハッシュを用いてモデル重みをコミットし、正しい推論を証明することで、モデルの機密性を保持する。
• ZK-SNARKsと経済的インcentivesを組み合わせたプロトコルを設計し、MLaaS、監査、検索における信頼できない検証を可能にする。
• Clopper-Pearsonの正確な信頼区間とHoeffdingの不等式を用いて、モデル精度および予測の正しさの統計的検証に必要な標本サイズを決定する。
• AWS r8i.8xlargeなどのパブリッククラウドハードウェア上で、さまざまなプロトコルパラメータにおける証明および検証のコストを推定する。

実験結果

リサーチクエスチョン

• RQ1 ZK-SNARKsは、実用的な証明時間と検証時間を備えたフル解像度のImageNetモデルにスケーリング可能か？
• RQ2 モデル重みの機密性を保ちながら、ZK-SNARKsをDNN推論に効率的に適用する方法は何か？
• RQ3 ZK-SNARKsを用いたMLaaS予測およびモデル精度の検証における、実用的なコストとパフォーマンスのトレードオフは何か？
• RQ4 ZK-SNARKベースのプロトコルは、悪意ある環境下でも信頼できない検証可能な文書検索を可能にするか？
• RQ5 提案された最適化（照合アーギュメント、サブサーキット再利用）は、従来手法と比較して回路サイズと証明時間をどの程度削減するか？

主な発見

• 本論文は、コンsumerハードウェアで10秒以内に証明・検証可能な、フル解像度のImageNetモデル（MobileNet v2）の最初のZK-SNARK回路を提示する。
• システムはImageNet上で79%のtop-5精度を達成し、実世界のDNN推論検証の実用的妥当性を示している。
• 証明時間は、従来手法と比較して最大1,000倍速く、既存手法の下限値と比べて顕著に高い。
• 証明サイズは、数十〜数GBに達するMPCベースのアプローチと比較して、桁違いに小さい。
• コスト推定では、Google Cloud Vision APIの予測を同程度のオーバーヘッドで検証する場合、MobileNet v2の効率性を踏まえるとコスト増はたった4%にとどまる。
• ε=1%の誤差範囲内でモデル精度を検証するには、約15,000件の標本とδ=5%の信頼水準で約$2,500のクラウドコストが必要であり、医療や金融などのハイリスク分野においても実現可能である。