[論文レビュー] SwiftAgg+: Achieving Asymptotically Optimal Communication Loads in Secure Aggregation for Federated Learning

Tayyebeh Jahani-Nezhad, Mohammad Ali Maddah-Ali+2 more|arXiv (Cornell University)|Mar 24, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

SwiftAgg+ は、階層的秘密分散とグループベースの集約を活用することで、漸近的に最適な通信負荷を達成する新しいセキュアアグリゲーションプロトコルである。このプロトコルは、最大 $T = o(N)$ 人のユーザー間の共謀と $D = o(N)$ 人のユーザーの脱落に対して情報論的セキュリティを確保し、1ユーザーおよびサーバーの通信負荷を $ (1 + \mathcal{O}(1/N))L $ モノマスにまで低減し、理論的なカットセット下界に近づく。

ABSTRACT

We propose SwiftAgg+, a novel secure aggregation protocol for federated learning systems, where a central server aggregates local models of $N \in \mathbb{N}$ distributed users, each of size $L \in \mathbb{N}$, trained on their local data, in a privacy-preserving manner. SwiftAgg+ can significantly reduce the communication overheads without any compromise on security, and achieve optimal communication loads within diminishing gaps. Specifically, in presence of at most $D=o(N)$ dropout users, SwiftAgg+ achieves a per-user communication load of $(1+\mathcal{O}(\frac{1}{N}))L$ symbols and a server communication load of $(1+\mathcal{O}(\frac{1}{N}))L$ symbols, with a worst-case information-theoretic security guarantee, against any subset of up to $T=o(N)$ semi-honest users who may also collude with the curious server. Moreover, the proposed SwiftAgg+ allows for a flexible trade-off between communication loads and the number of active communication links. In particular, for $T

研究の動機と目的

• 通信オーバーヘッドを最小限に抑えつつ、強力なプライバシー保証を維持するフェデレーテッドラーニングのためのセキュアアグリゲーションプロトコルの設計。
• ユーザーの脱落と半信頼性の共謀が発生する最悪ケースにおいて、漸近的に最適な通信負荷を達成すること。
• 構造的なグループ通信を通じて、通信負荷とアクティブなネットワーク接続数の間の柔軟なトレードオフを実現すること。
• 最大 $D = o(N)$ 人のユーザー脱落が発生しても、セキュリティを損なわずに強固なモデルアグリゲーションを可能にすること。
• SecAgg や TurboAgg などの既存プロトコルを下回る1ユーザーおよびサーバーの通信コストを実現し、情報論的限界に近づけること。

提案手法

• 秘密分散とアグリゲーションを効率的に行うために、木構造に基づいた階層的グループにユーザーを分割する。
• グループ内およびグループ間の秘密分散を採用し、各ユーザーがグループ内に分散されたランダムベクトルを用いて、自身のローカルモデルのマスク版を共有する。
• 2段階の通信モデルを採用：第1段階では、ユーザーがマスクされ符号化されたモデル更新を送信する。第2段階では、欠落したユーザーの共有データを生存ユーザーの寄与から再構築する。
• ラグランジュ符号化計算技術を活用し、脱落ユーザーのモデル成分をアグリゲーションプロセス内で回復可能にする。
• 通信グラフを $k$-正則な木構造として構築し、1ユーザーあたり $K$ 個のアクティブな接続を持つことで、ネットワーク負荷と遅延を制御可能にする。
• 情報論的マスキングによりセキュリティを強化：すべてのランダムベクトルが一様分布であることから、共謀ユーザーおよび好奇心を示すサーバーであっても、個々のモデルを推測できない。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるセキュアアグリゲーションは、情報論的下界に漸近的に近い通信負荷を達成できるか？
• RQ2 最大 $T = o(N)$ の共謀ユーザーと $D = o(N)$ のユーザー脱落に対して、セキュリティを維持しつつ通信効率を向上させることは可能か？
• RQ3 セキュアアグリゲーションにおいて、通信負荷とアクティブなネットワーク接続数の最適なトレードオフは何か？
• RQ4 階層的秘密分散と符号化計算を組み合わせることで、1ユーザーおよびサーバーの通信コストを低減できるか？
• RQ5 動的ユーザー脱落と共謀抵抗性を備えたプロトコルを設計でき、通信オーバーヘッドを増加させずに実現できるか？

主な発見

• $T = o(N)$ および $D = o(N)$ の条件下で、SwiftAgg+ は1ユーザーあたり $ (1 + \mathcal{O}(1/N))L $ モノマスの通信負荷を達成し、カットセット下界に漸近的に近づく。
• サーバーの通信負荷も $ (1 + \mathcal{O}(1/N))L $ モノマスであり、合計通信コストにおいて漸近的に最適性を達成する。
• 任意の $K \in \mathbb{N}$ に対して、SwiftAgg+ はサーバー通信負荷を $ (1 + \frac{T}{K})L $ モノマス、1ユーザー負荷を最大 $ (1 + \frac{T+D}{K})L $ モノマスに抑えることができ、$ \frac{N}{2}(K + T + D + 1) $ 個のアクティブなペアワイズ接続を維持する。
• プロトコルは情報論的セキュリティを確保する：共謀していないユーザーのグローバルモデルとサーバーのビューの間の相互情報量は、$T$ 人のユーザーがサーバーと共謀してもゼロである。
• ローカルモデルが一様に分布している場合、1ユーザーあたりの通信負荷は、同じ条件下でカットセット下界の $ \log_{\ell}(\ell N) $ 要因以内に収まる。
• アグリゲーションツリーの深さを調整することで、動的脱落耐性と柔軟な遅延制御を実現し、レイテンシと通信効率の間のトレードオフを可能にする。