[論文レビュー] Impala: Low-Latency, Communication-Efficient Private Deep Learning Inference

Woo‐Seok Choi, Brandon Reagen+2 more|arXiv (Cornell University)|May 13, 2022

Cryptography and Data Security被引用数 5

ひとこと要約

Impala は、鍵スイッチングを用いたプロキシサーバーを導入することで、クライアントの帯域幅を複数桁削減し、スパース畳み込みによる同型暗号の最適化、および切り捨てられた秘密共有を用いたゲート化回路の圧縮により、プライベートなディープラーニング推論のための低遅延かつ通信効率の高いプロトコルを提案する。これにより、最先端の手法と比較して3倍以上の帯域幅削減と4倍の高速化を達成する。

ABSTRACT

This paper proposes Impala, a new cryptographic protocol for private inference in the client-cloud setting. Impala builds upon recent solutions that combine the complementary strengths of homomorphic encryption (HE) and secure multi-party computation (MPC). A series of protocol optimizations are developed to reduce both communication and performance bottlenecks. First, we remove MPC's overwhelmingly high communication cost from the client by introducing a proxy server and developing a low-overhead key switching technique. Key switching reduces the clients bandwidth by multiple orders of magnitude, however the communication between the proxy and cloud is still excessive. Second, to we develop an optimized garbled circuit that leverages truncated secret shares for faster evaluation and less proxy-cloud communication. Finally, we propose sparse HE convolution to reduce the computational bottleneck of using HE. Compared to the state-of-the-art, these optimizations provide a bandwidth savings of over 3X and speedup of 4X for private deep learning inference.

研究の動機と目的

• 同型暗号（HE）および安全なマルチパーティ計算（MPC）に基づく既存のプライベート推論プロトコルにおけるクライアント側の通信および計算負荷の高い問題に対処すること。
• HEベースのプライベート推論におけるクライアントの通信負担を低減すること。CIFAR-10のようなモデルでは、1回の推論あたり1 GBを超える通信が生じる可能性がある。
• プライベート推論における線形（HE）および非線形（GC）演算の両方のクラウド側の計算および通信コストを最小限に抑えること。
• モデルの精度を維持しつつ、暗号化最適化の共同設計により、性能を著しく向上させること。

提案手法

• クライアントとクラウド間の通信を再暗号化と鍵スイッチングを用いて処理するプロキシサーバーを導入し、線形層毎にクラウドとやり取りする必要をなくす。
• 畳み込みニューラルネットワークにおける重みのスパarsityを活用することで、スパース同型暗号畳み込みを実装し、HE計算のオーバーヘッドを低減する。
• 秘密共有の最下位ビットを切り捨てることでゲート化回路を最適化し、セキュリティを損なわず通信コストと評価コストを削減する。
• Cheetah HEカーネルの実装を活用し、プロキシベースのアーキテクチャと統合することで、クライアント側の負荷を最小限に抑える。
• 実装では、BFV同型暗号のための SEAL ライブラリと、ゲート化回路評価のための Multi-Protocol SPDZ を使用する。
• HE、MPC、通信レイヤーの間で最適化を共同設計し、プライベート推論におけるエンドツーエンドの性能向上を達成する。

実験結果

リサーチクエスチョン

• RQ1 HEベースのプライベート推論におけるクライアント側の通信オーバーヘッドを、セキュリティや精度を損なわず複数桁削減できるか？
• RQ2 モデルのスパarsityを活用することで、畳み込み層における同型暗号の計算ボトルネックをどのように軽減できるか？
• RQ3 秘密共有の切り捨てによって、ゲート化回路評価をどの程度最適化できるか。ただし、正しさと機密性は保持されるものとする。
• RQ4 プロキシベースのアーキテクチャは、クライアントからクラウドおよびプロキシへの通信および計算のオフロードを効果的に行い、スケーラブルなプライベート推論を可能にするか？
• RQ5 鍵スイッチング、スパースHE、および切り捨てられたGCの組み合わせによる、エンドツーエンドの推論遅延および帯域幅への総合的影響は何か？

主な発見

• Impala は、Gazelle と比較してクライアント側の通信帯域幅を4桁以上削減し、クライアントのオーバーヘッドはモデルアーキテクチャに依存せず、入力サイズにのみ依存する。
• 現在の最先端手法と比較して、全体の推論遅延が4倍高速化され、主に最適化されたHEおよびGCコンponentsのおかげである。
• 帯域幅の削減は3倍以上で、オフラインおよびオンライン通信量はそれぞれGazelleのGCサイズの約1/4および1/2にまで削減された。
• スパース同型暗号畳み込みの使用により、CNNにおける重みのスパarsityを活用することで、線形層の計算オーバーヘッドが低減され、モデルの精度に影響を与えない。
• ゲート化回路における秘密共有の最下位9ビットを切り捨てることで、GCのサイズと通信コストが削減され、セキュリティおよび正しさは維持された。
• プロキシベースの再暗号化と鍵スイッチングは、クラウドでの遅延が5 ms未満にとどまり、実用上無視できるほど低いため、スケーラブルな展開が可能である。