[論文レビュー] FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning

Zhaoxiong Yang, Shuihai Hu+1 more|arXiv (Cornell University)|Jul 21, 2020

Cryptography and Data Security参考文献 12被引用数 17

ひとこと要約

本論文では、フェデレーテッドラーニングにおける学習効率を向上させるために、FPGAを用いたPaillier同型暗号のハードウェアアクセラレータを提案する。高水準合成を活用し、モンゴメリー法を用いてモジュラ乗算を最適化することで、暗号化時間を最大71%短縮し、ソフトウェア実装比で10.6倍の高速化を達成。データセンターサイズの展開に適した、優れたDSP効率とコンactなリソース使用量を実現した。

ABSTRACT

With the increasing awareness of privacy protection and data fragmentation problem, federated learning has been emerging as a new paradigm of machine learning. Federated learning tends to utilize various privacy preserving mechanisms to protect the transferred intermediate data, among which homomorphic encryption strikes a balance between security and ease of utilization. However, the complicated operations and large operands impose significant overhead on federated learning. Maintaining accuracy and security more efficiently has been a key problem of federated learning. In this work, we investigate a hardware solution, and design an FPGA-based homomorphic encryption framework, aiming to accelerate the training phase in federated learning. The root complexity lies in searching for a compact architecture for the core operation of homomorphic encryption, to suit the requirement of federated learning about high encryption throughput and flexibility of configuration. Our framework implements the representative Paillier homomorphic cryptosystem with high level synthesis for flexibility and portability, with careful optimization on the modular multiplication operation in terms of processing clock cycle, resource usage and clock frequency. Our accelerator achieves a near-optimal execution clock cycle, with a better DSP-efficiency than existing designs, and reduces the encryption time by up to 71% during training process of various federated learning models.

研究の動機と目的

• 同型暗号の計算オーバーヘッドがフェデレーテッドラーニングにおける性能ボトルネックを引き起こす問題に対処すること。
• セキュアでプライバシー保護型のフェデレーテッドラーニングを可能にする、コンactで高スループットなFPGAベースのアクセラレータを設計すること。
• Paillier暗号のコア演算であるモジュラ乗算を、低遅延、高クロック周波数、効率的なDSP使用を実現するように最適化すること。
• 高水準合成（HLS）を活用して、パフォーマンスを損なわずに柔軟で再利用可能かつ再構成可能な展開を可能にすること。
• FATEフェデレーテッドラーニングフレームワークに最小限の変更でアクセラレータを統合すること。

提案手法

• パラメトリックな設定が可能なポータブルなハードウェア設計を実現するため、高水準合成（HLS）を用いたPaillier同型暗号アクセラレータの設計。
• 除算を回避しFPGA適合性を向上させるために、モンゴメリー法によるモジュラ乗算の実装。
• パイプライン化とリソースに配慮したスケジューリングにより、最小限のクロックサイクル、低リソース使用量、高クロック周波数を実現するモジュラ乗算ユニットの最適化。
• OpenCLコマンドキューを用いてデータ転送と計算をオーバーパイプライン化し、1回のカーネルで複数のデータ項目をバッチ処理することで、暗号化遅延を低減。
• FATEフレームワークにソフトウェアベースのPaillier暗号を置き換えるため、アクセラレータをOpenCLカーネルライブラリとして統合。
• 解析的モデリングを用いて、クロックサイクル、DSP使用量、メモリ帯域幅、面積効率の最適化を支援。

実験結果

リサーチクエスチョン

• RQ1 FPGAベースのアクセラレーションは、フェデレーテッドラーニングにおける同型暗号のスループットと効率をどのように向上させるか？
• RQ2 FPGA上でのPaillierモジュラ乗算において、遅延とリソース使用量を最小限に抑えるために最も効果的なアーキテクチャ最適化は何か？
• RQ3 提案されたハードウェアアクセラレータは、ソフトウェアベースのPaillier実装と比較して、暗号化および復号化のパフォーマンスでどの程度優れているか？
• RQ4 線形モデルを用いたフェデレーテッドラーニングにおいて、このアクセラレータは学習イテレーション時間をどの程度短縮できるか？
• RQ5 このアクセラレータは、スケーラブルで安全なモデル学習をデータセンター環境で実現する中で、高いセキュリティと正確性を維持できるか？

主な発見

• FPGAベースのPaillierアクセラレータは、PHEライブラリを用いたソフトウェア実装と比較して、暗号化で10.6倍、復号化で2.76倍の高速化を達成した。
• モジュラ乗算ユニットにより、線形モデルの各学習イテレーションで暗号化時間を最大71.2%短縮し、全体の学習イテレーション時間も26%削減した。
• DSP効率は12,626オペレーション／秒／DSPブロックを達成し、SanとAt（2014）が達成した8,903 op/s／DSPを上回った。
• 効果的なパイプライン化と遅延隠蔽により、さまざまなオペランドサイズにおいて理論最小値の10%以内の実行サイクルで、ほぼ理想に近いパフォーマンスを維持した。
• 高水準合成の使用により、従来のRTLベースのアプローチとは異なり、柔軟で再利用可能かつポータブルなハードウェア設計が可能になった。
• アクセラレータはわずか9個のDSPブロックと483個のスライスのみを消費し、コンパクトで効率的な設計を実現。LUTやブロックRAMに依存する設計よりも優れた性能を発揮した。