[論文レビュー] zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training

Hao-Chen Sun, Bai, Tonghe+2 more|arXiv (Cornell University)|Jul 30, 2023

Parallel Computing and Optimization Techniques被引用数 4

ひとこと要約

zkDLは、非多項式近似を用いずにReLU活性化関数とバックプロパゲーションをネイティブに処理できる最初の効率的なゼロ知識証明システムを提示した。zkReLUを導入することで、1000万パラメータの8層ネットワークとバッチサイズ64の条件下で、1バッチあたり1秒未塔の証明生成が可能となり、実世界の深層ニューラルネットワークにおけるプライバシー保護型でスケーラブルなモデル訓練の検証を可能にした。

ABSTRACT

The recent advancements in deep learning have brought about significant changes in various aspects of people's lives. Meanwhile, these rapid developments have raised concerns about the legitimacy of the training process of deep neural networks. To protect the intellectual properties of AI developers, directly examining the training process by accessing the model parameters and training data is often prohibited for verifiers. In response to this challenge, we present zero-knowledge deep learning (zkDL), an efficient zero-knowledge proof for deep learning training. To address the long-standing challenge of verifiable computations of non-linearities in deep learning training, we introduce zkReLU, a specialized proof for the ReLU activation and its backpropagation. zkReLU turns the disadvantage of non-arithmetic relations into an advantage, leading to the creation of FAC4DNN, our specialized arithmetic circuit design for modelling neural networks. This design aggregates the proofs over different layers and training steps, without being constrained by their sequential order in the training process. With our new CUDA implementation that achieves full compatibility with the tensor structures and the aggregated proof design, zkDL enables the generation of complete and sound proofs in less than a second per batch update for an 8-layer neural network with 10M parameters and a batch size of 64, while provably ensuring the privacy of data and model parameters. To our best knowledge, we are not aware of any existing work on zero-knowledge proof of deep learning training that is scalable to million-size networks.

研究の動機と目的

• 産業的・規制的文脈における深層学習訓練のスケーラブルでプライバシー保護型の検証メカニズムの欠如に対処すること。
• ゼロ知識証明システム内で非算術的演算（特にReLU活性化関数）を検証するという根本的な課題を克服すること。
• 深層学習訓練の複数ステップおよび複数層にわたる階層的・逐次的・反復的な構造を効率的に捉える算術回路モデルを設計すること。
• 大規模な深層ニューラルネットワークにおけるエンドツーエンドの検証可能訓練を実現し、データおよびモデルパラメータの正しさと機密性を保証すること。
• 実世界の展開に適した実用的パフォーマンスを達成するCUDA最適化実装を開発すること。

提案手法

• ReLUおよびそのバックプロパゲーションを専用に処理するゼロ知識証明であるzkReLUを導入し、非線形性を制約ではなく計算的利点として活用する。
• FAC4DNNを提案し、前方伝搬・逆伝搬、レイヤー単位の演算、バッチ処理を含む深層学習訓練プロセス全体を、テンソルおよびレイヤー構造を保持した形で算術回路としてモデル化する。
• zkReLUに内在する構造的対称性と計算パターンを活用し、レイヤーおよび訓練ステップ間で証明を集約することで、訓練順序に依存しない非逐次的証明構成を実現する。
• 深層学習フレームワークのテンソルレイアウトと整合するCUDAネイティブ実装を設計し、GPUハードウェア上で高速な証明生成と検証を可能にする。
• 現代のZKPシステムと互換性のあるゼロ知識証明バックエンドを採用し、訓練データおよびモデルパラメータの両方に対して正当性とゼロ知識保証を確保する。
• 証明システムを完全な訓練パイプラインに統合し、モデル開発者が訓練ロジックを変更せずにバッチ更新後に証明を生成できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ReLUのような非算術的演算は、多項式近似に依存せずにゼロ知識証明でネイティブに検証可能か？
• RQ2 100万パラメータ以上の大型モデルに対し、深層学習訓練の証明生成を十分に効率化できるか？
• RQ3 異なるレイヤーおよび訓練ステップ間の証明を、逐次的依存関係を回避し、計算オーバーヘッドを低減する形で集約可能か？
• RQ4 GPU最適化されたゼロ知識証明システムを構築し、1秒未塔の証明生成時間を達成することは可能か？
• RQ5 このようなシステムは、訓練の正しさと、訓練データおよびモデルパラメータの両方に対する強力なプライバシー保証を確保できるか？

主な発見

• zkDLは、1000万パラメータの8層ネットワークとバッチサイズ64の条件下で、1バッチ更新あたり1秒未塔の完全かつ正当なゼロ知識証明を生成する。
• 本システムは、実世界規模の深層ニューラルネットワークにおける検証可能訓練をサポートしており、100万パラメータ規模のモデルに対して類似のスケーラビリティを達成した先行研究は存在しない。
• FAC4DNNによる証明集約により、訓練ステップおよびレイヤーの順序に依存しない証明構成が可能となり、計算および通信のオーバーヘッドが低減された。
• CUDA最適化実装は、標準的な深層学習テンソル構造と完全に互換性があり、既存の訓練パイプラインへの効率的な統合を可能にした。
• 検証プロトコルの逐次的性質により、検証時間は証明時間と同等に近い水準であり、今後の並列化された検証アルゴリズムの開発が求められる。
• zkDLは、正当なプライバシー保護と大規模スケールでのパフォーマンスを備えた、深層学習訓練におけるエンドツーエンドのゼロ知識検証可能性を提供する最初のフレームワークである。