[論文レビュー] Biscotti: A Ledger for Private and Secure Peer-to-Peer Machine Learning

Muhammad Shayan, Clement Fung+2 more|arXiv (Cornell University)|Nov 24, 2018

Privacy-Preserving Technologies in Data被引用数 59

ひとこと要約

Biscotti は、ブロックチェーン、検証可能乱数関数、差分プライバシー、そしてセキュアアグリゲーションを用いた分散型の P2P システムで、中央コーディネータを持たずにプライバシー保護された、耐 Byzantine のマルチパーティ SGD を実現します。汚染攻撃や情報漏洩に対して防御しつつ、モデルの有用性を維持します。

ABSTRACT

Federated Learning is the current state of the art in supporting secure multi-party machine learning (ML): data is maintained on the owner's device and the updates to the model are aggregated through a secure protocol. However, this process assumes a trusted centralized infrastructure for coordination, and clients must trust that the central service does not use the byproducts of client data. In addition to this, a group of malicious clients could also harm the performance of the model by carrying out a poisoning attack. As a response, we propose Biscotti: a fully decentralized peer to peer (P2P) approach to multi-party ML, which uses blockchain and cryptographic primitives to coordinate a privacy-preserving ML process between peering clients. Our evaluation demonstrates that Biscotti is scalable, fault tolerant, and defends against known attacks. For example, Biscotti is able to protect the privacy of an individual client's update and the performance of the global model at scale when 30% of adversaries are trying to poison the model. The implementation can be found at: https://github.com/DistributedML/Biscotti

研究の動機と目的

• trusted centralized authority を用いずに private なマルチパーティ ML を動機づける。
• ブロックチェーン台帳を介して SGD を協調する完全分散型 P2P システムを提案する。
• プライバシー保護技術で個々の更新を保護し、汚染攻撃を検出・緩和する。
• ステークベースの役割選択を通じて、Sybil および敵対的振る舞いに対する堅牢性を確保する。

提案手法

• グローバルモデルのスナップショットを各ブロックで提供する形で SGD イテレーションを協調するブロックチェーン台帳を使用する。
• VRF で選択されたノイズ付与ペアが提供する事前コミット済みノイズで SGD アップデートをマスクする。
• 検証委員会が更新を検証し、Multi-KRUM を適用して汚染済みアップデートをフィルタリングする。
• Shamir の秘密分散と多項式コミットメントを用いて個々の更新を保護しつつ、検証可能なアグリゲーションを可能にする。
• ステークに基づく重み付け整合ハッシュと VRF を用いて、各イテレーションでノイサー、検証者、アグリゲーターを選択する。
• モデル状態、鍵、事前コミット済みノイズを含むジェネシスブロックでブートストラップし、ゴシップで同期待機を行い、暗号コミットメントで台帳の整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 中央集約型アグリゲータを持たずに、プライバシー保護されたマルチパーティ ML を分散型 P2P システムで協調できるか？
• RQ2 分散 SGD 設定で poisoning および情報漏洩攻撃をどう緩和できるか？
• RQ3 Biscotti における異なるアグリゲーション戦略のプライバシーと有用性のトレードオフは？
• RQ4 ステークベースの役割割当が Sybil 攻撃に十分対抗し、フォールトトレランスを確保できるか？
• RQ5 Biscotti はプライバシー保護を維持しつつ、フェデレーテッドラーニングと同等のモデル精度を保てるか？

主な発見

• Biscotti は 200 ピアで 60,000 件の画像を用いた MNIST softmax モデルを 266.7 分で訓練する。
• システムは 100 ノードで毎 15 秒のノード churn に対して耐障害性を保ち、 churn 下でも収束する。
• Multi-KRUM ベースの検証により、最大 30% の悪意のあるクライアントからの汚染に対抗できる。
• 差分プライバシーのノイズは事前コミット済みで、検証中にマスクされ情報漏洩攻撃を防ぐ；プライバシーはセキュアアグリゲーションにより維持される。
• ノイズを付与していないアップデートをアグリゲートする場合、フェデレーテッドラーニングと同等の有用性を達成可能（ノイズ付与は高い有用性のため任意）。
• Azure 上での複数ロケーションにまたがる実装がスケールし、プライバシーと検証性を保証する一連の暗号技術を組み合わせている。