[論文レビュー] Verifiable evaluations of machine learning models using zkSNARKs

Tobin South, Alexander Camuto+6 more|arXiv (Cornell University)|Feb 5, 2024

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、秘密の重みを持つ ML モデルの検証可能な評価を生成する zkSNARK ベースのフレームワークを提案し、公開入力に対する性能と公正性の証明を可能にします。

ABSTRACT

In a world of increasing closed-source commercial machine learning models, model evaluations from developers must be taken at face value. These benchmark results-whether over task accuracy, bias evaluations, or safety checks-are traditionally impossible to verify by a model end-user without the costly or impossible process of re-performing the benchmark on black-box model outputs. This work presents a method of verifiable model evaluation using model inference through zkSNARKs. The resulting zero-knowledge computational proofs of model outputs over datasets can be packaged into verifiable evaluation attestations showing that models with fixed private weights achieve stated performance or fairness metrics over public inputs. We present a flexible proving system that enables verifiable attestations to be performed on any standard neural network model with varying compute requirements. For the first time, we demonstrate this across a sample of real-world models and highlight key challenges and design solutions. This presents a new transparency paradigm in the verifiable evaluation of private models.

研究の動機と目的

• モデルの重みが秘密のときの性能検証の透明性が必要であることを動機づける。
• ニューラルネットワークや他のモデルの検証可能な評価 attestations を生成する一般的なフレームワークを提案する。
• エンドユーザーが秘密の重みに対して再実行せずにモデルの出力と主張される指標を検証できるようにする。
• デプロイされたモデルが性能主張と一致することを確認するためのチャレンジベースの検証を可能にする。

提案手法

• 訓練済みモデルを ONNX に変換し推論回路を導出する。
• モデルから zkSNARK の証明鍵と検証鍵を設定し推論の証明を可能にする。
• データ点 (x,y) ごとに出力と指標を attest する証拠ファイルと zkSNARK 証明を生成する。
• W(H) をモデルの重みに結びつけた verifiable evaluation attestations に集約する。
• 公開後のチャレンジを許可し、与えられた入力-出力ペアが主張された重 hash のモデルで生成可能であることを検証する。

Figure 1: System diagram of verifiable ML evaluation using the zkSNARK ezkl toolkit. A model can be compiled into a proving key ( $pk$ ) and verification key ( $vk$ ) which can be used to generate repeated inference proofs over a dataset ( $\pi$ ), which can then be aggregated into a verifiable eval

実験結果

リサーチクエスチョン

• RQ1 zkSNARKs を介して diverse なモデルアーキテクチャに対して検証可能 attestations を構築するにはどうすればよいか。
• RQ2 異なるサイズのデータセットに対する推論の証明時に計算コストとスケーラビリティの限界は何か。
• RQ3 さまざまなモデルタイプに対して性能と公正性（バイアス）チェックを検証可能な評価でカバーするにはどうすればよいか。

主な発見

モデル	;;	モデル	;; パラメータ	;; モデル	;; FLOPs	;; モデル	;; 制約	;; 証明	;; 時間（秒）	;; 検証	;; 時間（秒）	;; 証明	;; サイズ	;; PK	;; サイズ	;; VK	;; サイズ
Linear Regression	30	–	62	0.1	0.01	13K	715K	1.7K
SVM	30	–	626	0.3	0.02	23K	16M	2.5K
Random Forest	80	–	3627	2.9	0.02	26K	276M	2.7K
MLP	3610	3500	1920	0.3	0.02	21K	14M	2.3K
Small CNN	19870	68600	35844	3.1	0.03	15K	390M	1.8K
VAE (decoder)	1065747	12582912	2016632	142	0.42	1.9M	16G	2.5K
LSTM	29184	950272	495712	35	0.10	41K	4.1G	2.5K
nanoGPT	250624	51396608	9398936	2781	2.69	0.7M	219G	4.2K

• ezkl ツールキットを用いて、MLP や CNN から小型トランスフォーマーまで幅広いモデルに対して検証可能 attestations を生成できる。
• 証明のサイズはスケーラブルで、検証時間は小さいままで、証明鍵はモデルの複雑さとともに成長する。
• モデルのサイズを大きくすると証明時間とリソース要件は増加するが、コンパクトな証明と検証鍵を維持する。
• バイアス・公正性チェックを含む複数のモデルタイプに対して、実用的なエンドツーエンドのワークフローを示す。
• 入力-出力ペアが重 hashes によって推論の一貫性を検証するよう挑戦することで、秘密の重を開示せずに信頼レスな検証を可能にする。

Figure 2: Time and storage requirements for model inference proofs for increasing model sizes across multi-layered perceptions (MLP), convolutional neural networks (CNN), and attention-based transformers (Attn). Model requirements scale linearly with the number of constraints in the proof, which is