[論文レビュー] SAFE: Secure Aggregation with Failover and Encryption

Thomas Sandholm, Sayandev Mukherjee+1 more|arXiv (Cornell University)|Aug 12, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、学習者をサイクルに接続し、1つのイニシエータがランダムマスクを適用し、コントローラーをメッセージブローカーに限定することで、フェデレーテッドラーニングのための安全な集約プロトコルであるSAFEを提案する。36ノードで、通信オーヘッドを削減し、効率的なフェイルオーバーリカバリを可能にすることで、最先端の手法と比較して70倍高速な集約を達成している。また、IoTゲートウェイなどの制限付きデバイスでも効率的である。

ABSTRACT

We propose and experimentally evaluate a novel secure aggregation algorithm targeted at cross-organizational federated learning applications with a fixed set of participating learners. Our solution organizes learners in a chain and encrypts all traffic to reduce the controller of the aggregation to a mere message broker. We show that our algorithm scales better and is less resource demanding than existing solutions, while being easy to implement on constrained platforms. With 36 nodes our method outperforms state-of-the-art secure aggregation by 70x, and 56x with and without failover, respectively.

研究の動機と目的

• 制限付きで安定した学習者を有するクロスオーガナイゼーションフェデレーテッドラーニングにおけるプライバシーとスケーラビリティの課題に対処すること。
• コントローラーの関与をメッセージルーティングのみに制限し、信頼性とリソース使用量を最小限に抑えること。
• すべてのノードで秘密再計算を再実行する必要がない、効率的な障害回復を可能にすること。
• IoTゲートウェイや組み込みシステムなどの低計算能力デバイスにおけるパフォーマンス最適化を図ること。
• サブグループ化と効率的な暗号ベースの圧縮を用いて、スケーラビリティを向上させること。

提案手法

• すべての学習者が論理的なチェーンに配置され、各学習者が次の学習者に暗号化された更新情報を転送する。イニシエータがすべてのモデル更新に1つのランダムマスクを適用する。
• すべての通信は公開鍵暗号方式を用いたエンドツーエンド暗号化により保護され、コントローラーが個々のモデルパラメータにアクセスできないことを保証する。
• コントローラーは、メッセージブローカーおよび進捗監視者としてのみ機能し、集約計算に積極的に関与しない。
• 障害は、障害発生点から再暗号化および再ルーティングされた更新情報を用いて処理され、回復に必要なノード数を最小限に抑える。
• 複数のチェーンにわたる並列化を可能にするためにサブグループ化が導入され、多数のノードにおけるスループットを向上させる。
• OpenWrtなどの制限付きプラットフォームとの互換性を確保するため、軽量なプリミティブ（coreutils、OpenSSL）を用いてプロトコルを実装する。

Figure 1 : Overview of our secure aggregation method.

実験結果

リサーチクエスチョン

• RQ1 信頼性とリソース使用量を最小限に抑えつつ、効率的な障害回復を可能にする、コントローラーの信頼度を最小限に抑えた安全な集約プロトコルを設計できるか？
• RQ2 単一マスクとチェーンベースのアプローチは、ペアワイズマスクと比較して、制限付きデバイスにおけるパフォーマンスとレジリエンスの面でどのように異なるか？
• RQ3 サブグループ化は、大規模なフェデレーテッドラーニング環境におけるスケーラビリティと集約遅延の削減に、どの程度寄与するか？
• RQ4 エンドツーエンド暗号化のパフォーマンスオーバーヘッドは、低消費電力エッジデバイスにおける安全な集約パイプラインにおいて、どの程度の影響を与えるか？
• RQ5 完全な秘密再共有やグローバル再計算を必要とせずに、ノード障害はどのように処理されるか？

主な発見

• 36ノードで、SAFEは最先端の安全な集約プロトコルと比較して、フェイルオーバー有無にかかわらず70倍のパフォーマンス向上を達成した。
• ペアワイズ秘密共有とグローバル回復メカニズムの必要性を排除することで、リソース消費量を削減した。
• OpenWrtベースのアクセスポイントなどの制限付きデバイスでは、coreutilsとOpenSSLのみを用いてSAFEを効率的に実装でき、低計算能力プラットフォームへの展開を可能にした。
• 4つの並列グループを用いたサブグループ化により、12ノードで1つの特徴量を持つ場合、集約時間を約4.5秒から約2秒に短縮し、顕著なスループット向上を実現した。
• SAFEと先行手法のパフォーマンスクロスオーバーは、5〜10の特徴量の間で発生し、中程度の次元のモデル更新において強い効率性を示した。
• 本プロトコルは、3〜100ノードのサブグループにおいて実用的であるが、この範囲を超えてスケーリングするには階層型フェデレーションが推奨される。

Figure 2 : Round 1 Aggregation: logical communication chain.