[論文レビュー] SOTERIA: In Search of Efficient Neural Networks for Private Inference

Anshul Aggarwal, Trevor E. Carlson+2 more|arXiv (Cornell University)|Jul 25, 2020

Cryptography and Data Security参考文献 44被引用数 5

ひとこと要約

SOTERIAは、ゲート化回路を用いたプライベートな推論のための深層ニューラルネットワークの精度と効率を同時に最適化する新しいトレーニング手法を提案する。ニューラルアーキテクチャ探索とスパarsity正則化を統合することで、スパースで三値重みを持つモデルを生成し、暗号化計算のオーバーヘッドを顕著に低減しながら、MNISTおよびCIFAR10で高い精度を維持する。

ABSTRACT

ML-as-a-service is gaining popularity where a cloud server hosts a trained model and offers prediction (inference) service to users. In this setting, our objective is to protect the confidentiality of both the users' input queries as well as the model parameters at the server, with modest computation and communication overhead. Prior solutions primarily propose fine-tuning cryptographic methods to make them efficient for known fixed model architectures. The drawback with this line of approach is that the model itself is never designed to operate with existing efficient cryptographic computations. We observe that the network architecture, internal functions, and parameters of a model, which are all chosen during training, significantly influence the computation and communication overhead of a cryptographic method, during inference. Based on this observation, we propose SOTERIA -- a training method to construct model architectures that are by-design efficient for private inference. We use neural architecture search algorithms with the dual objective of optimizing the accuracy of the model and the overhead of using cryptographic primitives for secure inference. Given the flexibility of modifying a model during training, we find accurate models that are also efficient for private computation. We select garbled circuits as our underlying cryptographic primitive, due to their expressiveness and efficiency, but this approach can be extended to hybrid multi-party computation settings. We empirically evaluate SOTERIA on MNIST and CIFAR10 datasets, to compare with the prior work. Our results confirm that SOTERIA is indeed effective in balancing performance and accuracy.

研究の動機と目的

• 固定されたニューラルネットワークアーキテクチャに適用された既存の暗号化手法の非効率性に対処すること。
• モデルアーキテクチャとパラメータを暗号化プリミティブと共同で設計することで、プライベート推論のオーバーヘッドを低減できるかを調査すること。
• ゲート化回路評価において本質的に効率的な正確なモデルを生成するトレーニングフレームワークを開発すること。
• 後処理による暗号化最適化に依存せずに、モデルの精度と暗号化計算コストの間のトレードオフを可能にすること。

提案手法

• SOTERIAは、モデルの精度を最大化し、ゲート化回路評価コストを最小化する二重目的を持つニューラルアーキテクチャ探索（NAS）を採用する。
• 勾配降下法にスパarsity正則化を統合し、三値重みニューラルネットワークを訓練することで、非ゼロパラメータの数を削減する。
• 安全な評価のための回路の深さとゲート数を最小化する最適なネットワーク構造とパラメータのスパarsityレベルを選択する。
• 非線形演算を効率的かつ表現力豊かに処理できるため、ゲート化回路を暗号化プリミティブとして採用する。
• すべての演算にゲート化回路を単一に依存させることで、コストの高い暗号化スキーム間の変換を回避する。
• MNISTおよびCIFAR10でフレームワークを評価し、先行研究と比較して推論性能と精度を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャと暗号化プリミティブを共同で設計することで、プライベート推論のオーバーヘッドを低減できるか？
• RQ2 アーキテクチャのスパarsityと構造は、ゲート化回路ベースの推論の効率にどのように影響するか？
• RQ3 三値重みネットワークは、暗号化計算コストを低減しつつ、どれほど高い精度を維持できるか？
• RQ4 プライベート推論において、NASベースのアプローチは、固定モデルの後処理最適化を上回ることができるか？
• RQ5 プライベート推論環境において、モデルの精度と暗号化効率の間のトレードオフはどのようなものか？

主な発見

• SOTERIAは、ベースラインモデルと比較して、ゲート化回路のゲート数と深さを顕著に削減しながら、MNISTおよびCIFAR10で高い精度を達成した。
• 三値重みとスパarsity正則化の適用により、ゲート化回路のサイズと評価時間が30〜50％削減された。
• 提案されたアーキテクチャ探索法は、ゲート化回路評価において正確かつ効率的なモデル構造を効果的に同定した。
• 固定モデルの暗号化スキーム最適化に依存する先行研究と比較して、SOTERIAはモデルとプライバシー保護計算を共同設計することの利点を示した。
• フレームワークは、精度と推論効率の間の柔軟なトレードオフを可能にし、さまざまなシステム制約に適応可能である。