[論文レビュー] Efficient Sparse Secure Aggregation for Federated Learning

Constance Béguier, Mathieu Andreux+1 more|arXiv (Cornell University)|Jul 29, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 11

ひとこと要約

この論文は、モデル更新の圧縮と加法的秘密分散を組み合わせることで、通信コストと計算コストを低く抑えつつ強力なプライバシーを維持する、フェデレーテッドラーニングのための新しいスパースなセキュアアグリゲーションプロトコルを提案する。軽量な加法演算に依存するトップ-kスパース化を活用することで、従来のセキュアアグリゲーション技術と比較して著しく低いオーバーヘッドで高いモデル精度を達成する。

ABSTRACT

Federated Learning enables one to jointly train a machine learning model across distributed clients holding sensitive datasets. In real-world settings, this approach is hindered by expensive communication and privacy concerns. Both of these challenges have already been addressed individually, resulting in competing optimisations. In this article, we tackle them simultaneously for one of the first times. More precisely, we adapt compression-based federated techniques to additive secret sharing, leading to an efficient secure aggregation protocol, with an adaptable security level. We prove its privacy against malicious adversaries and its correctness in the semi-honest setting. Experiments on deep convolutional networks demonstrate that our secure protocol achieves high accuracy with low communication costs. Compared to prior works on secure aggregation, our protocol has a lower communication and computation costs for a similar accuracy.

研究の動機と目的

• フェデレーテッドラーニングにおける高い通信コストとプライバシー漏洩という二重の課題に対処すること。
• モデル更新の圧縮技術をセキュアアグリゲーションプロトコルと統合することで、精度を損なわずにオーバーヘッドを低減すること。
• 計算コストを抑えるために、軽量な演算（加法のみ）に依存するセキュアアグリゲーションプロトコルを設計すること。
• 悪意ある攻撃者に対して証明可能なプライバシーを実現するとともに、セミアコシスト設定下で正しく動作すること。
• 提案手法が、通信および計算効率の面で既存のセキュアアグリゲーション技術を上回ることを示すこと。

提案手法

• モデル更新の圧縮にトップ-kスパース化（例：TopBinary符号化）を用い、最も顕著な勾配のみを保持する。
• 圧縮された更新に加法的秘密分散を適用することで、集約結果以外は明らかにされないことを保証する。
• クライアント間でスパースなインデックスを効率的に統合するためのセキュアユニオンプロトコル（SecUnion）を設計し、誤検出率を制御する調整パラメータ q を備える。
• セキュアアグリゲーションを加法演算に限定することで、同型暗号や非対称暗号などの高コストな暗号Primitiveを避ける。
• プロトコルはセミアコシストモデルで正しく動作することが証明され、すべてのサーバーが1人を除いて共謀する場合にも悪意ある攻撃者に対してプライベートである。
• 標準的なフェデレーテッドアベレージ（FedAvg）と互換性があり、最小限の暗号技術の知識で実用的導入が可能である。

実験結果

リサーチクエスチョン

• RQ1 モデル更新の圧縮をセキュアアグリゲーションと効果的に組み合わせることで、フェデレーテッドラーニングにおける通信コストと計算コストを低減できるか？
• RQ2 プライバシーを保ちつつ、実世界での導入に耐えうるほど効率的なセキュアアグリゲーションはどのように実現できるか？
• RQ3 フェデレーテッドラーニングにおけるスパースな秘密分散を用いる場合、セキュリティレベル、通信コスト、モデル精度の間のトレードオフはどのようなものか？
• RQ4 軽量な暗号演算（例：加法のみ）がフェデレーテッド環境で強力なプライバシー保証を達成できるか？
• RQ5 提案手法は、既存のセキュアアグリゲーションプロトコルと比較して、効率性と精度の面で優れているか？

主な発見

• MNISTでは98%、CIFAR-10では80%の精度を達成しており、非セキュアかつ非圧縮のFedAvgと同等の性能を100エポックで達成している。
• TopBinary符号化とρ=0.1を用いることで、Bonawitzら（2017）およびDongら（2020）と比較して通信コストを顕著に低減している。
• Paillier暗号や多項式補間などの高コストな演算を避けるため、計算コストは従来の手法と比べて著しく低い。
• q=1のSecUnionプロトコルが、プライバシーと通信の両面で最良のトレードオフを実現しており、誤検出を低減しながらも効率性を維持している。
• 同程度の精度水準において、通信コストおよび計算コストの両面で、既存のセキュアアグリゲーション技術を上回っている。
• プロトコルは悪意ある攻撃者に対して証明可能なプライバシーを保ち、セミアコシスト設定下で正しく動作するため、強力なセキュリティ保証が得られている。