[論文レビュー] CodedPaddedFL and CodedSecAgg: Straggler Mitigation and Secure Aggregation in Federated Learning

Reent Schlegel, Siddhartha Kumar+2 more|arXiv (Cornell University)|Dec 16, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、符号理論を用いてデバイス間で冗長性を導入する2つの新規フェデレーテッドラーニング方式、CodedPaddedFL および CodedSecAgg を提案する。これらは、クライアントドリフトを引き起こさずに遅延デバイス（ストラグル）の影響を軽減できる。CodedPaddedFL は、MNIST において 95% の精度に達するまでの速度を、従来の FL よりも 18× 向上させた。一方、CodedSecAgg は、モデルインバージョン攻撃に対する強化されたセキュリティを備え、LightSecAgg よりも最大 18.7× の高速化を達成した。

ABSTRACT

We present two novel federated learning (FL) schemes that mitigate the effect of straggling devices by introducing redundancy on the devices' data across the network. Compared to other schemes in the literature, which deal with stragglers or device dropouts by ignoring their contribution, the proposed schemes do not suffer from the client drift problem. The first scheme, CodedPaddedFL, mitigates the effect of stragglers while retaining the privacy level of conventional FL. It combines one-time padding for user data privacy with gradient codes to yield straggler resiliency. The second scheme, CodedSecAgg, provides straggler resiliency and robustness against model inversion attacks and is based on Shamir's secret sharing. We apply CodedPaddedFL and CodedSecAgg to a classification problem. For a scenario with 120 devices, CodedPaddedFL achieves a speed-up factor of 18 for an accuracy of 95% on the MNIST dataset compared to conventional FL. Furthermore, it yields similar performance in terms of latency compared to a recently proposed scheme by Prakash et al. without the shortcoming of additional leakage of private data. CodedSecAgg outperforms the state-of-the-art secure aggregation scheme LightSecAgg by a speed-up factor of 6.6-18.7 for the MNIST dataset for an accuracy of 95%.

研究の動機と目的

• 遅延または切断されたデバイスを無視することによって引き起こされるフェデレーテッドラーニングにおけるクライアントドリフト問題に対処すること。
• 非独立同分布（non-iid）データとデバイスの遅延が存在する状況下でも、グローバル最適解への収束を維持するストラグル耐性のある FL 方式の開発。
• 安全なアグリゲーションをストラグル耐性の符号化と統合し、モデルインバージョン攻撃に対する防御を強化すること。
• 通信量と遅延のオーバーヘッドを低減しながら、データプライバシーとモデルの正確性を維持すること。
• 大規模かつ異種のデバイスネットワークにおけるスケーラビリティと耐障害性を確保すること。

提案手法

• CodedPaddedFL は、データプライバシーのための一時的パディングと、勾配符号を組み合わせ、デバイス間の冗長なデータを用いてストラグル更新の回復を可能にする。
• CodedSecAgg は、シャミアの秘密分散法を用いて局所的モデル更新を符号化し、サーバーには勾配の和しか明らかにされないことを保証することで、モデルインバージョン攻撃を防止する。
• 両方式とも、デバイス上でデータ符号化による冗長性を導入し、一部のデバイスが遅延または障害を起こしても、中央サーバーが部分的なデバイスからの情報からグローバルモデル更新を再構築可能である。
• デバイスのグループ化により、初期通信負荷を低減する。これは、ストラグル耐性の効率にわずかに悪影響を及えるが、全体の遅延を顕著に削減する。
• カーネル埋め込みを介して非線形問題にも対応可能であり、線形モデルに限定されない応用範囲を拡大する。
• 追加マスキングとランダムシードの秘密分散を用いた加法的マスキングにより、安全なアグリゲーションを統合し、個々の貢献が露呈されないまま欠落した更新の回復が可能になる。

実験結果

リサーチクエスチョン

• RQ1 デバイスのデータに符号化に基づく冗長性を導入することで、クライアントドリフトを引き起こさずにストラグル効果を軽減できるか？
• RQ2 一時的パディングと勾配符号を組み合わせることで、非独立同分布（non-iid）データ環境下でのプライバシーと収束性にどのような影響を与えるか？
• RQ3 秘密分散と安全なアグリゲーションをストラグル耐性のある符号化と統合することで、モデルインバージョン攻撃をどの程度防止できるか？
• RQ4 デバイスのグループ化は、通信負荷とストラグル耐性の性能のトレードオフにどのように影響するか？
• RQ5 高いストラグル率を示す大規模ネットワークにおいて、提案手法のスケーラビリティはどの程度か？

主な発見

• CodedPaddedFL は、120台のデバイスを用いて MNIST データセットで 95% の精度に到達するまでの速度を、従来のフェデレーテッドラーニングと比較して 18× 向上させた。追加のデータ漏洩は発生しなかった。
• CodedSecAgg は、MNIST において 95% の精度に達するまでの速度を、LightSecAgg よりも 6.6 から 18.7 倍まで向上させた。これは、協調攻撃を行うエージェント数に依存する。
• 1000台のデバイスからなるネットワークにおいて、1人の悪意あるエージェントが存在する場合、CodedSecAgg は LightSecAgg よりも 38.9× の高速化を達成した。これは、強力なスケーラビリティを示している。
• 1000台のデバイスにおいて、CodedSecAgg の安全なアグリゲーションに伴う追加遅延コストは、CodedPaddedFL と比較して 15% にまで低減された。これは、規模が拡大するに従い、オーバーヘッドが次第に減少することを示している。
• CodedSecAgg は、協調攻撃エージェント数が非常に多い状況でも頑健性を維持し、120台中60台が協調している場合でも 6.6× の高速化を達成した。
• 両方式とも、ストラグル更新を破棄する手法とは異なり、グローバル最適解に収束し、クライアントドリフトを回避する。これは、非独立同分布データに対してより信頼性が高いことを示している。