[論文レビュー] EIFFeL: Ensuring Integrity for Federated Learning

Amrita Roy Chowdhury, Chuan Guo+2 more|arXiv (Cornell University)|Dec 23, 2021

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

EIFFeL は、秘密分散非インタラクティブ証明（SNIP）と暗号的最適化を用いて、フェデレーテッドラーニングの更新の整合性を検証するプライバシー保護型チェックにより、安全な集約を可能にする画期的なフレームワークである。このフレームワークは、MNIST で 100 ユーザーと 10% の汚染が発生する状況下でも、1 回の学習イテレーションあたり 2.4 秒の低遅延を達成し、更新の整合性を保証する。

ABSTRACT

Federated learning (FL) enables clients to collaborate with a server to train a machine learning model. To ensure privacy, the server performs secure aggregation of updates from the clients. Unfortunately, this prevents verification of the well-formedness (integrity) of the updates as the updates are masked. Consequently, malformed updates designed to poison the model can be injected without detection. In this paper, we formalize the problem of ensuring extit{both} update privacy and integrity in FL and present a new system, extsf{EIFFeL}, that enables secure aggregation of extit{verified} updates. extsf{EIFFeL} is a general framework that can enforce extit{arbitrary} integrity checks and remove malformed updates from the aggregate, without violating privacy. Our empirical evaluation demonstrates the practicality of extsf{EIFFeL}. For instance, with $100$ clients and $10\%$ poisoning, extsf{EIFFeL} can train an MNIST classification model to the same accuracy as that of a non-poisoned federated learner in just $2.4s$ per iteration.

研究の動機と目的

• 安全な集約が更新をマスキングするフェデレーテッドラーニングにおいて、プライバシーと整合性の両方を確保するという重要な課題に対処すること。
• 更新の整合性を露呈せずに検証できる新しいプロトコル、SAVI（Verified Inputs の安全な集約）を形式化すること。
• 任意の整合性チェックを算術回路を介してサポートする汎用システムを設計し、さまざまな耐障害性の高い機械学習防御と統合可能とする。
• 暗号プロトコルの最適化を通じて、低遅延かつ高拡張性を実現することで、実世界の FL 環境における実用的性能を達成すること。
• 不正なサーバー攻撃モデルをサポートするとともに、サービス拒否攻撃を防止し、形式が正しくない更新のみが集約されないようにすること。

提案手法

• EIFFeL は、クライアントがマスキングされた更新の正しさを、値を露呈せずに暗号的に証明できる秘密分散非インタラクティブ証明（SNIP）を採用している。
• 検証可能な秘密分散とゼロ知識証明を用いて、サーバーが更新の整合性を検証できるが、実際の値を学習しないようにしている。
• 公開パラメータを用いた算術回路として表現可能な任意の整合性チェックをサポートし、既存の耐障害性の高い学習手法との柔軟な統合を可能としている。
• SNIP を不正な脅威モデルに拡張するためのアーキテクチャ的および暗号的強化を導入し、攻撃的行動に対して高い耐性を確保している。
• 通信および計算のオーバーヘッドを低減する性能最適化を実装しており、ベースラインの SNIP に基づく手法と比較して少なくとも 2.3 倍の効率向上を達成している。
• 集約プロセス中に形式が正しくない更新を動的に削除する仕組みを備えており、グローバルモデルへの影響を防いでいる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるクライアントの更新の整合性を、プライバシーを損なわずどのように検証できるか？
• RQ2 更新の形式が正しくないものも検出し、削除しつつもエンドツーエンドのプライバシーを保持する安全な集約プロトコルを設計できるか？
• RQ3 整合性検証付きフェデレーテッドラーニングで実用的性能を達成するために、どのような暗号的プリミティブとシステム最適化が必要か？
• RQ4 任意の整合性チェック（例：ノルムの上限、統計的異常）をプライバシー保護型でどのように実装できるか？
• RQ5 不正なサーバーに対して耐性を持ち、検証中にサービス拒否攻撃を防げるか？

主な発見

• EIFFeL は、MNIST データセットで 100 ユーザーと 10% の汚染状況下でも、1 回の学習イテレーションあたりわずか 2.4 秒の遅延を達成し、汚染なしのフェデレーテッドラーナーと同等の精度を維持した。
• 算術回路を介して任意の整合性チェックをサポートしており、耐障害性の高い機械学習防御と幅広く統合可能である。
• EIFFeL の最適化により、ベースラインの SNIP に基づく手法と比較して少なくとも 2.3 倍の性能向上が達成された。
• サーバーが更新の生データを観測することなく、形式が正しくない更新を削除でき、プライバシーが保持された。
• 不正なサーバーに対して耐性を持ち、不正な入力を隔離・破棄することで、サービス拒否攻撃を防止している。
• 機能的範囲と脅威モデルカバレッジの両面で先行研究を上回っており、任意のチェック、不正なサーバー、動的更新削除をサポートしている。