[論文レビュー] On the Information Theoretic Secure Aggregation with Uncoded Groupwise Keys

Kai Wan, Yao, Xin+3 more|arXiv (Cornell University)|Apr 24, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、S人のユーザーが共有する非符号化グループ別鍵を用いた情報理論的セキュアアグリゲーション方式を提案する。各鍵は互いに独立しており、S > K−U の場合、符号化鍵方式と同等の最適通信コストを達成し、効率に損失がない。一方、S ≤ K−U の場合、非符号化鍵は厳密に劣化する。本方式はAmazon EC2上で実装され、実用的環境下で既存手法を上回る性能を示した。

ABSTRACT

Secure aggregation, which is a core component of federated learning, aggregates locally trained models from distributed users at a central server. The ``secure'' nature of such aggregation consists of the fact that no information about the local users' data must be leaked to the server except the aggregated local models. In order to guarantee security, some keys may be shared among the users. After the key sharing phase, each user masks its trained model which is then sent to the server. This paper follows the information theoretic secure aggregation problem originally formulated by Zhao and Sun, with the objective to characterize the minimum communication cost from the K users in the model aggregation phase. Due to user dropouts, the server may not receive all messages from the users. A secure aggregation scheme should tolerate the dropouts of at most $K-U$ users. The optimal communication cost is characterized by Zhao and Sun, but with the assumption that the keys stored by the users could be any random variables with arbitrary dependency. On the motivation that uncoded groupwise keys are more convenient to be shared and could be used in large range of applications besides federated learning, in this paper we assume the key variables are mutually independent and each key is shared by a group of S users. To the best of our knowledge, all existing secure aggregation schemes assign coded keys to the users. We show that if $S> K-U$, a new secure aggregation scheme with uncoded groupwise keys can achieve the same optimal communication cost as the best scheme with coded keys; if $S \leq K-U$, uncoded groupwise key sharing is strictly sub-optimal. Finally, we also implement our proposed secure aggregation scheme into Amazon EC2, which are then compared with the existing secure aggregation schemes with offline key sharing.

研究の動機と目的

• ユーザーの脱落を想定したフェデレーテッドラーニングにおける通信コストの最小化を、情報理論的セキュリティを保証しつつ解決すること。
• 鍵がS人のユーザーのグループ内で共有され、互いに独立しているという制約下でのセキュアアグリゲーションの性能を分析すること。
• 非符号化グループ別鍵が符号化鍵方式と同等の最適通信コストを達成できる条件を特定すること。
• Amazon EC2上での実装を通じて、提案手法の実用的効率を評価し、既存手法と比較すること。

提案手法

• 各鍵がS人のユーザーのグループ内で共有され、すべての鍵が互いに独立するという鍵共有モデルを導入することで、実世界のシステムにおける鍵配布を簡素化する。
• 2段階プロトコルを採用：オフラインでの鍵共有（完全に完了しているものと仮定）と、モデルアグリゲーション段階。この段階で、ユーザーは共有された鍵を用いてモデルをマスキングして送信する。
• サーバーがK人中からK−U人までのユーザーの脱落を耐えられ、U人の生存ユーザーからでもアグリゲートモデルを復元できるという制約下で通信コストを分析する。
• 非符号化グループ別鍵の制約下で最適通信コストを達成する新しいセキュアアグリゲーションプロトコルを設計。線形代数的構造と鍵の独立性を活用する。
• 実世界のパrameterを用いてAmazon EC2上で実装し、実行時間と通信オーバーヘッドを含むエンドツーエンド性能を評価する。
• KとUの異なる設定下で、SecAgg、LightSecAgg、GroupSecAggといった既存手法と比較してベンチマークを実施する。

実験結果

リサーチクエスチョン

• RQ1 非符号化グループ別鍵が、符号化鍵方式と同等の最適通信コストを達成できる条件は何か？
• RQ2 ユーザーの脱落を考慮した場合、グループサイズSが非符号化グループ別鍵方式の最適性にどのように影響を与えるか？
• RQ3 実際の分散システムにおいて、非符号化グループ別鍵を用いることで、既存のセキュアアグリゲーション手法と比較してどの程度の実行オーバーヘッドが生じるか？
• RQ4 非符号化グループ別鍵は、フェデレーテッドラーニングシステムに実用的に導入可能であり、情報理論的セキュリティと低通信コストを維持できるか？

主な発見

• S > K−U の場合、提案された非符号化グループ別鍵方式は、最高の符号化鍵方式と同等の最適通信コストを達成し、情報理論的に最適であることが証明された。
• S ≤ K−U の場合、非符号化グループ別鍵の共有は厳密に劣化しており、理論的最小値よりも高い通信コストを要する。
• 提案手法はAmazon EC2上で正常に実装され、特にKやUの値が大きい場合、LightSecAggやGroupSecAggと比較して短い実行時間を達成した。
• K=20、U=19の場合、300,000件のサンプルに対して合計429.6354msの実行時間を記録し、LightSecAgg（425.8771ms）とGroupSecAgg（429.6354ms）を上回る性能を示した。全テスト設定において同等または優れた性能を示した。
• 本方式は情報理論的セキュリティを維持しており、サーバーは個々のユーザーのローカルデータについての情報は学習せず、アグリゲートモデルのみを学習する。
• 結果から、グループサイズSが許容可能な脱落数（K−U）を超える場合、非符号化グループ別鍵は符号化鍵の実用的で効率的な代替手段であることが確認された。