[論文レビュー] Trust the Process: Zero-Knowledge Machine Learning to Enhance Trust in Generative AI Interactions

Bianca-Mihaela Ganescu, Jonathan Passerat‐Palmbach|arXiv (Cornell University)|Feb 9, 2024

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文は、生成AIモデルの出力が正しいモデルから出ていることを検証可能に保証するためにゼロ知識証明を用いることを提案し、プライバシーを守りつつsnarkGPTをGPT-2レベルのZKMLパイプラインとして導入し、経験的なスケーラビリティ分析を行う。

ABSTRACT

Generative AI, exemplified by models like transformers, has opened up new possibilities in various domains but also raised concerns about fairness, transparency and reliability, especially in fields like medicine and law. This paper emphasizes the urgency of ensuring fairness and quality in these domains through generative AI. It explores using cryptographic techniques, particularly Zero-Knowledge Proofs (ZKPs), to address concerns regarding performance fairness and accuracy while protecting model privacy. Applying ZKPs to Machine Learning models, known as ZKML (Zero-Knowledge Machine Learning), enables independent validation of AI-generated content without revealing sensitive model information, promoting transparency and trust. ZKML enhances AI fairness by providing cryptographic audit trails for model predictions and ensuring uniform performance across users. We introduce snarkGPT, a practical ZKML implementation for transformers, to empower users to verify output accuracy and quality while preserving model privacy. We present a series of empirical results studying snarkGPT's scalability and performance to assess the feasibility and challenges of adopting a ZKML-powered approach to capture quality and performance fairness problems in generative AI models.

研究の動機と目的

• 生成AIにおける公平性・透明性・信頼性の動機づけ、特に健康と金融の文脈で。
• 重量を開示することなく、リモートAIサービスが正確に要求されたモデルを使用していることを検証するプロトコルを開発する。
• zkSNARKsを活用して、正しいモデル実行と出力の完全性の暗号的証拠を提供する。
• GPT-2サイズのトランスフォーマー（nanoGPT）でZKMLの実用性を示し、スケーラビリティとメモリ制約を評価する。

提案手法

• AI推論の検証（ZKML）におけるzkSNARKベースの検証を説明し、出力が要求されたモデル由来であることを証明する方法を示す。
• Halo2/KZGバックエンドに適応したGPT-2ライクなトランスフォーマー向けの検証可能なZKMLパイプラインであるsnarkGPTを導入する。
• EZKLとHalo2を、ニューラルネットワーク推論のためのzkSNARKを構築するバックエンドとして、回路行列と多項式制約を含めて説明する。
• 自己注意機構やその他の非線形性に対処しつつ、トランスフォーマーの構成要素をzkSNARK証明に適した有限体へ写像する。

実験結果

リサーチクエスチョン

• RQ1 zkSNARKsをどのように用いて、AI推論がクライアントによって正確に要求されたモデルから出てくることを検証できるか。
• RQ2 モデルのウェイトを明かすことなく、均一なモデル動作を保証することでZKMLは性能の公正性を提供できるか。
• RQ3 GPT-2規模の推論におけるzkSNARK証明の生成に要する実用的なコスト（時間とメモリ）はどの程度か。
• RQ4 モデルのアーキテクチャと回路表現は、ZKMLにおける制約数と証明の効率性にどのような影響を与えるか。
• RQ5 ZKMLアプローチはGPT系アーキテクチャを超えて他のニューラルネットモデルにもスケール可能か。

主な発見

• ZKMLは、公開入力と秘密のモデルウェイト証拠を前提として、出力が特定のモデルによって生成されたことを暗号的に証明できる。
• snarkGPTはZKMLパイプラインを用いたGPT-2サイズの検証者の実現可能性を示し、クライアントによる証明検証のエンドツーエンドプロトコルを含む。
• 経験的な結果は、証明生成コストが埋め込みサイズとトランスフォーマ層数の増加と共に非線形的に増加することを示し、非線形スケーリングを考慮すべきことを強調している。
• 回路行列のサイズは証明生成時間とメモリに大きく影響を与え；大きな行列は大規模なメモリ使用を引き起こす場合がある（いくつかの構成では数百ギガバイト）。
• nanoGPTのM/N比（制約数とパラメータ数の比）はModulus LabsのMLPモデルよりも顕著に高く、トランスフォーマーベースのモデルがより重い証明作業を課すことを示している。
• 本研究は、GPT系アーキテクチャを越えるZKMLの一般化可能性を確認する一方で、トランスフォーマーモデルは非トランスフォーマー網と比較して固有の課題を提示する。