[論文レビュー] Zero-Knowledge Proof-based Practical Federated Learning on Blockchain

Zhibo Xing, Zijian Zhang+5 more|arXiv (Cornell University)|Apr 12, 2023

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

この論文は、ゼロ知識証明とブロックチェーンを利用して、ローカルデータを保護しつつ検証可能なフェデレーテッドラーニングモデルの訓練を可能にする ZKP-FL および PZKP-FL を提案します。分数および非線形演算の実用的な取り扱いを含みます。

ABSTRACT

Since the concern of privacy leakage extremely discourages user participation in sharing data, federated learning has gradually become a promising technique for both academia and industry for achieving collaborative learning without leaking information about the local data. Unfortunately, most federated learning solutions cannot efficiently verify the execution of each participant's local machine learning model and protect the privacy of user data, simultaneously. In this article, we first propose a Zero-Knowledge Proof-based Federated Learning (ZKP-FL) scheme on blockchain. It leverages zero-knowledge proof for both the computation of local data and the aggregation of local model parameters, aiming to verify the computation process without requiring the plaintext of the local data. We further propose a Practical ZKP-FL (PZKP-FL) scheme to support fraction and non-linear operations. Specifically, we explore a Fraction-Integer mapping function, and use Taylor expansion to efficiently handle non-linear operations while maintaining the accuracy of the federated learning model. We also analyze the security of PZKP-FL. Performance analysis demonstrates that the whole running time of the PZKP-FL scheme is approximately less than one minute in parallel execution.

研究の動機と目的

• 公開検証可能性を備えたプライバシー保護型フェデレーテッドラーニングの動機付け。
• ローカルデータを露出させることなく、検証可能な訓練と集約を実現。
• 実用的な ML モデルのために分数および非線形演算をサポートするよう ZKP-FL を拡張。

提案手法

• 訓練アルゴリズムを zk-SNARKs (Groth16) に適した算術回路へ変換し、並列証明生成のために小さなサブ回路に分割。
• ローカルの入力データや中間出力を明示せずに、ローカル訓練の正当性をゼロ知識証明で検証。
• ブロックチェーンのスマートコントラクト上でセキュアな和のプロトコルを用いて、グローバル集約をプライバシー保護型に検証・実行。
• Fraction-Integer マッピングと Taylor 展開風のアプローチを導入し、算術回路内の分数値と非線形演算を扱う。
• データを隠蔽しつつ一貫性チェックのための Sigma-プロトコルを介して、サブ回路間の連続性を確保するよう Groth16 の証明生成と検証を修正。

実験結果

リサーチクエスチョン

• RQ1 ブロックチェーン上で公開・プライバシーを保護しつつ、フェデレーテッドラーニングを検証可能にする方法は。
• RQ2 ゼロ知識証明はローカルデータを露出させずにローカル訓練の正当性とグローバル集約の検証を両立できるか。
• RQ3 zk-SNARK ベースの FL で分数演算と非線形演算を効率的にサポートする方法は。
• RQ4 ブロックチェーン上の ZKP ベースの FL システムのセキュリティと性能特性は。

主な発見

• 提案された ZKP-FL スキームは、ローカル計算の公開検証とブロックチェーン上の安全な集約を実現。
• Practical ZKP-FL（PZKP-FL）スキームは、分数と非線形演算を Fraction-Integer mapping と Taylor 展開風の手法で扱えるよう方法を拡張。
• 訓練を複数のサブ回路に分割することで並列証明生成を可能にし、効率を改善。
• セキュリティ分析と実験により、PZKP-FL の実行時間は実験で概ね1分を超えないことを示す。