[論文レビュー] FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo Federated Learning

Zhifeng Jiang, Wei Wang+1 more|arXiv (Cornell University)|Sep 2, 2021

Cryptography and Data Security参考文献 62被引用数 41

ひとこと要約

FLASHEは、横断シロのFLのための軽量で加法的に対称なHEスキームを提示し、通信オーバーヘッドを排除し、スパース化をサポートします。平文に対してトレーニング時間オーバーヘッドは≤6%。

ABSTRACT

Homomorphic encryption (HE) is a promising privacy-preserving technique for cross-silo federated learning (FL), where organizations perform collaborative model training on decentralized data. Despite the strong privacy guarantee, general HE schemes result in significant computation and communication overhead. Prior works employ batch encryption to address this problem, but it is still suboptimal in mitigating communication overhead and is incompatible with sparsification techniques. In this paper, we propose FLASHE, an HE scheme tailored for cross-silo FL. To capture the minimum requirements of security and functionality, FLASHE drops the asymmetric-key design and only involves modular addition operations with random numbers. Depending on whether to accommodate sparsification techniques, FLASHE is optimized in computation efficiency with different approaches. We have implemented FLASHE as a pluggable module atop FATE, an industrial platform for cross-silo FL. Compared to plaintext training, FLASHE slightly increases the training time by $\leq6\%$, with no communication overhead.

研究の動機と目的

• プライバシー保護されたクロスシロFLを推進し、HEオーバーヘッドを低減する。
• FL集約に適した最小限で対称的な加法HEを設計する。
• スパース化をサポートする場合としない場合の2つのバリアントを提供する。
• FATEプラットフォームとFLASHEを統合し、地理分散設定で評価する。

提案手法

• モジュラ群内で平文にランダムマスクを加える加法HEを提案する。
• Define E_k(m) = (c, i, {j}) with c_d = m_d + F_k(i||j||d) - F_k(i||j+1||d) mod n.
• 結合後のマスキングされた総和からmを復元するD_kを定義する。
• 二重マスキングと単一マスキングという2つのマスキング戦略とそれらのトレードオフを導入する。
• スパース化と座標整列をサポートするために、密文構造を適応させる。
• 5つのデータセンターにまたがる11台のAWSインスタンスでFATE上でエンドツーエンドを評価する。

実験結果

リサーチクエスチョン

• RQ1 FLASHEは、FL集約に適した意味的セキュリティと加法同型性を達成しますか？
• RQ2 FLASHEの計算オーバーヘッドと通信オーバーヘッドは、平文および従来のHEスキームと比較してどうですか？
• RQ3 スパース化はFLASHEとどのように相互作用しますか、そしてマスキング方式は適応的に性能を最適化できますか？
• RQ4 実際の地理分散設定におけるエンドツーエンドの性能（トレーニング時間、金銭的コスト）はどのくらいですか？
• RQ5 速度とネットワークトラフィックの観点で、スパース化されたモデル更新に対してFLASHEはどのような影響を与えますか？

主な発見

• FLASHEを用いたトレーニング時間のオーバーヘッドは、平文トレーニングと比較して≤6%である。
• FLASHEは平文と比較して追加のネットワークトラフィックを発生させない。
• FLASHEは最適化されたPaillier、FV、CKKSと比較してコストを最大で73%–94%削減する。
• FLASHEによるスパース化更新はPaillierと比較して13–63倍の高速化と48倍のネットワーク削減を達成する。
• 典型的なクロスシロドロップアウトシナリオでは二重マスキングが復号効率を向上させる可能性があり、単一マスキングは暗号化の方が効率的である。
• クロスシロFLのための最適化されたエンドツーエンド性能を備えた初めてのHE提案。