[論文レビュー] Byzantine-Robust and Privacy-Preserving Framework for FedML

Hanieh Hashemi, Yongqin Wang+2 more|arXiv (Cornell University)|May 5, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用数 13

ひとこと要約

この論文は、信頼実行環境（TEE）とGPUアクセラレートド・グラデントエンコーディングを活用することで、Byzantine耐性とプライバシー保護を統合したフレームワークを提案する。TEE内で安全にプライベートな勾配集約を実行するとともに、ノイズエンコーディング技術を用いて計算負荷の高いByzantine検出処理をGPUにオフロードすることで、情報理論的プライバシー境界を保証しつつ、TEE単独のベースライン比で6倍以上の高速化を達成する。

ABSTRACT

Federated learning has emerged as a popular paradigm for collaboratively training a model from data distributed among a set of clients. This learning setting presents, among others, two unique challenges: how to protect privacy of the clients' data during training, and how to ensure integrity of the trained model. We propose a two-pronged solution that aims to address both challenges under a single framework. First, we propose to create secure enclaves using a trusted execution environment (TEE) within the server. Each client can then encrypt their gradients and send them to verifiable enclaves. The gradients are decrypted within the enclave without the fear of privacy breaches. However, robustness check computations in a TEE are computationally prohibitive. Hence, in the second step, we perform a novel gradient encoding that enables TEEs to encode the gradients and then offloading Byzantine check computations to accelerators such as GPUs. Our proposed approach provides theoretical bounds on information leakage and offers a significant speed-up over the baseline in empirical evaluation.

研究の動機と目的

• フェデレーテッドラーニングにおけるデータプライバシー漏洩とByzantineクライアント攻撃の二重の課題に対処すること。
• 信頼できないサーバーやアクセラレータに生の勾配を晒さずに、安全でプライベートなモデル学習を可能にすること。
• 信頼できるハードウェアとアクセラレータと互換性を持つスケーラブルで効率的なByzantine耐性メカニズムを設計すること。
• 実世界の展開において高いパフォーマンスを維持しつつ、情報漏洩に関する理論的境界を提供すること。

提案手法

• クライアントは勾配を暗号化し、TEEベースのパラメータサーバーに送信することで機密性を確保する。
• TEEは加法的ガウスノイズを用いて勾配を難読化し、GPUへの安全なオフロードを可能にする。
• 外れ値検出のためのペアワイズ距離計算は、GPUがエンコード済みの勾配上で実行され、相対的距離関係が保持される。
• TEEは計算済みの距離を復号・復号して、Byzantineクライアントを特定・除外する。
• 独創的なノイズエンコーディング方式により、情報漏洩はノイズ分散に比例して限定され、情報理論的プライバシー保証が可能になる。
• フレームワークは浮動小数点勾配をサポートしており、MobileNet や EfficientNet といった標準的なディープラーニングモデルとも互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、遅い暗号プリミティブに依存せずに、フェデレーテッドラーニングにおけるプライバシーと耐性を同時に確保できるか？
• RQ2 エンコード済みの勾配上で正確なByzantine検出が可能でありながら、情報漏洩を最小限に抑える勾配エンコーディング機構を設計できるか？
• RQ3 TEE-GPUパイプラインでノイズエンコーディングを用いる場合の情報漏洩の理論的境界は何か？
• RQ4 提案されたオフロードメカニズムは、Byzantine検出をすべてTEE内で実行する場合と比べて、パフォーマンスでどのように差がつくか？
• RQ5 動的なクライアント参加とドロップアウトを効率的にサポートできるか？

主な発見

• 提案されたフレームワークは、Byzantine検出をすべてTEE内で実行するベースラインと比較して、学習時間で6倍以上の高速化を達成した。
• 情報漏洩の情報理論的境界は、信号対ノイズ比の対数に比例しており、GPUに対するクライアントデータの露出を最小限に抑える。
• 勾配エンコーディングにより、相対的ペアワイズ距離が定数倍以内に保持され、生の勾配を露呈せずに正確な外れ値検出が可能になった。
• システムは (α,f)-Byzantineレジリエンスモデルにおいても耐性を維持し、N ≥ 2f + 3 の条件下で最大f人のByzantineクライアントを耐えることができる。
• 実行時間の大部分は、TEE内でのCPUベースのエンコードと暗号化処理に費やされ、GPUの計算と通信コストは無視できるほど小さい。
• フレームワークは標準的なハードウェアでも実用的かつ展開可能であり、浮動小数点勾配と実世界のモデル（例：MobileNet や EfficientNet）をサポートしている。