[論文レビュー] AutoPrivacy: Automated Layer-wise Parameter Selection for Secure Neural Network Inference

Qian Lou, Song Bian+1 more|arXiv (Cornell University)|Jun 7, 2020

Cryptography and Data Security参考文献 22被引用数 17

ひとこと要約

AutoPrivacy は、ハイブリッドプライバシー保護ニューラルネットワーク (HPPNN) の各層に対して、同型暗号 (HE) パラメータを自動的に選択する深層強化学習ベースのシステムを提案する。これにより、推論遅延が顕著に短縮される。各層の誤差耐性に応じて、平文モジュラス、暗号文モジュラス、多項式次数といった HE パラメータを最適化することで、精度損失を最小限に抑えつつ、先行研究の HPPNN より 53–70% の遅延低減を達成し、暗号化データに対する高速かつ効率的な安全な推論を可能にする。

ABSTRACT

Hybrid Privacy-Preserving Neural Network (HPPNN) implementing linear layers by Homomorphic Encryption (HE) and nonlinear layers by Garbled Circuit (GC) is one of the most promising secure solutions to emerging Machine Learning as a Service (MLaaS). Unfortunately, a HPPNN suffers from long inference latency, e.g., $\sim100$ seconds per image, which makes MLaaS unsatisfactory. Because HE-based linear layers of a HPPNN cost $93\%$ inference latency, it is critical to select a set of HE parameters to minimize computational overhead of linear layers. Prior HPPNNs over-pessimistically select huge HE parameters to maintain large noise budgets, since they use the same set of HE parameters for an entire network and ignore the error tolerance capability of a network. In this paper, for fast and accurate secure neural network inference, we propose an automated layer-wise parameter selector, AutoPrivacy, that leverages deep reinforcement learning to automatically determine a set of HE parameters for each linear layer in a HPPNN. The learning-based HE parameter selection policy outperforms conventional rule-based HE parameter selection policy. Compared to prior HPPNNs, AutoPrivacy-optimized HPPNNs reduce inference latency by $53\%\sim70\%$ with negligible loss of accuracy.

研究の動機と目的

• ハイブリッドプライバシー保護ニューラルネットワーク (HPPNN) の高い推論遅延を是正すること。これは、非効率な同型暗号 (HE) パラメータ選択に起因する。
• すべての層に均一かつ過剰に慎重な HE パラメータを用いる従来の HPPNN の制限を克服すること。これにより、計算オーバーヘッドが著しく増大する。
• 各層の固有の誤差耐性と計算要件を尊重した、自動的かつ層別的な HE パラメータ選択を可能にすること。
• 推論遅延と通信コストを低減しながら、高い精度と 128 ビットのセキュリティを維持した安全なニューラルネットワーク推論を実現すること。
• 実世界の MLaaS 環境における、高速かつ正確なプライバシー保護機械学習の展開を可能にするスケーラブルでエキスパート不要のソリューションを提供すること。

提案手法

• AutoPrivacy は、HPPNN の各線形層に対して、平文モジュラス p、暗号文モジュラス q、多項式次数 n の HE パラメータを最適に選択するための深層強化学習エージェントを採用する。
• エージェントは、推論遅延、通信コスト、モデル精度をバランスに考慮した報酬関数を用いて訓練され、復号失敗にはペナルティが課される。
• 各層の誤差耐性とノイズ蓄積特性をモデル化して、HE パラメータ選択を指導し、過剰なリソース配分を回避する。
• 固定されたコンactなニューラルネットワークアーキテクチャ（例：MobileNet）と均一な量子化に焦点を当て、アーキテクチャやビット幅ではなく、層別 HE パラメータの最適化に注力する。
• 各計算パスにおける同型演算とノイズ増幅のシミュレーションを通じて、HE パラメータ選択の評価が行われる。
• 探索空間の複雑さを段階的に増加させるカリキュラム学習戦略を活用し、訓練の安定性と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのアプローチは、ルールベースの HE パラメータ選択を上回り、HPPNN の推論遅延を低減できるか？
• RQ2 各層の誤差耐性に応じた層別 HE パラメータ選択は、精度を損なわずに計算オーバーヘッドを顕著に低減できるか？
• RQ3 自動 HE パラメータ選択は、アーキテクチャと量子化の共同探索と比較して、効率性とパフォーマンスで優れているか？
• RQ4 深層強化学習は、各層の近似的最適な設定を探索する高次元の HE パラメータ空間を効果的に探索できるか？
• RQ5 AutoPrivacy は、セキュリティと精度を維持したまま、安全なニューラルネットワーク推論における遅延と通信コストをどの程度低減できるか？

主な発見

• AutoPrivacy は、先行研究の HPPNN よりも HPPNN の推論遅延を 53–70% 削減した。最良の設定では、CIFAR-10 の画像1枚あたりの遅延を約 100 秒から約 30 秒に短縮した。
• 同じネットワークとデータセットを用いた DELPHI と比較して、通信オーヘッドを 79% 減少（2GB から 0.4GB に）した。
• MobileNet を用い、14 ビット量子化で CIFAR-10 において 91.4% のトップ-1 精度を達成し、遅延が著しく低いにもかかわらず、先行研究と同等またはそれを上回る結果を得た。
• 探索プロセスに要する時間はたったの 8 時間であり、アーキテクチャと量子化の共同探索を実行する NASS よりも 60 時間以上短く、探索効率の優位性を示した。
• AutoPrivacy は、深度分離畳み込み層は蓄積回数が少なく、ノイズ増幅も小さいため、n や q を小さくしても安全であると特定した。一方、ポイントワイド層は高いノイズ耐性を確保するため、より大きなパラメータを必要とする。
• 残留ブロック層（例：4 番目および 8 番目）は他の層よりも大きなノイズ予算を必要とし、精度維持のための高い HE パラメータ設定が正当化されることを同定した。