[論文レビュー] ESMFL: Efficient and Secure Models for Federated Learning

Sheng Lin, Chenghong Wang+4 more|arXiv (Cornell University)|Sep 3, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用数 6

ひとこと要約

ESMFL は、Intel SGX を活用して安全なモデル集約と重みプルーニングを実現するプライバシー保護型フェデレーテッドラーニングフレームワークを提案する。ADMMに基づくプルーニングとSGX保護エナclaveを統合することで、最大 87× のモデル圧縮を達成し、精度損失を最小限に抑え、MNIST では通信量を 48.78% 減少、総学習時間を 2.4× 減少、CIFAR-10 では 1.8× 減少する。

ABSTRACT

Nowadays, Deep Neural Networks are widely applied to various domains. However, massive data collection required for deep neural network reveals the potential privacy issues and also consumes large mounts of communication bandwidth. To address these problems, we propose a privacy-preserving method for the federated learning distributed system, operated on Intel Software Guard Extensions, a set of instructions that increase the security of application code and data. Meanwhile, the encrypted models make the transmission overhead larger. Hence, we reduce the commutation cost by sparsification and it can achieve reasonable accuracy with different model architectures.

研究の動機と目的

• 大規模なモデル転送と勾配漏洩のリスクによるフェデレーテッドラーニングにおける通信コストの高さとプライバシーリスクを解消する。
• 特にリソース制限のあるエッジデバイスにおいて、モデル精度を劣化させずに通信オーバーヘッドを低減する。
• モデル性能の低下を引き起こすノイズベースの微分プライバシーを排除することで、フェデレーテッドラーニングにおけるデータプライバシーを強化する。
• 構造的重みプルーニングを用いて極端なモデル圧縮を実現し、IID および非IIDデータ環境下でも高い精度を維持する。
• 高コストなエナclaveコール（ECALL/OCALL）を最小限に抑え、ローカル学習および集約処理を高速化することで、エンドツーエンドの学習時間を最適化する。

提案手法

• Intel Software Guard Extensions (SGX) を統合し、安全なモデル集約とキーマネジメントを実現する信頼実行環境（エナclave）を構築する。
• 適応的正則化を用いたADMMベースのプルーニングアルゴリズムを採用し、スパースモデルの効率的かつ精度維持可能な学習を実現する。
• 通信前のモデル重みをCSR（Compressed Sparse Row）形式に圧縮することで、通信量を削減する。
• クライアント側でのモデル更新の暗号化とリモートアタステーションを用いた安全な鍵配布により、データ機密性を確保する。
• クライアントとCSP間のデータ転送を最適化し、バッチ処理を実施することで、SGXにおけるECALLおよびOCALLのオーバーヘッドを最小限に抑える。
• SGXエナclave内でグローバルモデル集約を実行することで、改ざんや勾配・モデルパラメータへの不正アクセスを防止する。

実験結果

リサーチクエスチョン

• RQ1 SGX保護フェデレーテッドラーニングと重みプルーニングを効果的に統合することで、モデル精度を損なわずに通信コストを削減できるか？
• RQ2 提案されたADMMベースの正則化手法は、ベースライン手法と比較して、フェデレーテッドプルーニングにおける収束性とスパarsityをどのように向上させるか？
• RQ3 モデル圧縮は、非IIDデータ環境下でも性能を維持しつつ、フェデレーテッドラーニングにおける通信オーバーヘッドをどの程度低減できるか？
• RQ4 SGXベースのセキュリティは、特にECALLおよびOCALLの遅延を考慮して、エンドツーエンドの学習時間にどのような影響を与えるか？
• RQ5 同じプルーニング比のもとで、ノイズ拡張フェデレーテッドラーニングと比較して、ESMFLは精度と通信効率の両面で優れているか？

主な発見

• LeNet-5 と MNIST を用いた実験では、98.78% のテスト精度を達成し、9.99× のモデル圧縮を実現。非IIDデータでは 97.60% の精度を記録。通信量は 34.85% 減少、総学習時間は 1.8× 減少。
• MNIST において 87× 圧縮を達成した場合、非圧縮フェデレーテッドラーニングと比較して、総学習時間を 2.4× 減少、通信コストを 48.78% 減少。
• CIFAR-10 におけるMobileNetV2では、4.95× 圧縮で 85.40% の精度を達成。非IIDデータでは 81.66% の精度を記録。通信量は 15.85% 減少、学習時間は 1.2× 減少。
• CIFAR-10 において 8.7× 圧縮を実現した場合、通信コストを 31.3% 減少、総経過時間は 1.8× 減少。ベースライン手法を上回る性能を発揮。
• 同等のスパarsityレベルにおいて、マスクプルーニングより高い精度を達成。例：非IID CIFAR-10 において 79.8% のスパarsityで 81.66% 対 80.44%。
• MobileNetV2 などの大規模モデルでは、ECALLおよびOCALLの処理時間が顕著なボトルネックとなり、これらの最適化が性能向上に大きく寄与した。