[論文レビュー] Popcorn: Paillier Meets Compression For Efficient Oblivious Neural Network Inference

Jun Wang, Chao Jin+2 more|arXiv (Cornell University)|Jul 5, 2021

Cryptography and Data Security参考文献 35被引用数 5

ひとこと要約

Popcorn は、完全に Paillier 同型暗号方式に依存するプライバシー保護型ニューラルネットワーク推論フレームワークであり、ネットワークアーキテクチャの変更なしに効率的な無作為推論を可能にする。ニューラルネットワークの圧縮と同型演算を活用して通信オーバーヘッドを低減し、ImageNet における最初の成功した無作為推論を実証。従来手法と比較して顕著な帯域幅の利点を示した。

ABSTRACT

Oblivious inference enables the cloud to provide neural network inference-as-a-service (NN-IaaS), whilst neither disclosing the client data nor revealing the server's model. However, the privacy guarantee under oblivious inference usually comes with a heavy cost of efficiency and accuracy. We propose Popcorn, a concise oblivious inference framework entirely built on the Paillier homomorphic encryption scheme. We design a suite of novel protocols to compute non-linear activation and max-pooling layers. We leverage neural network compression techniques (i.e., neural weights pruning and quantization) to accelerate the inference computation. To implement the Popcorn framework, we only need to replace algebraic operations of existing networks with their corresponding Paillier homomorphic operations, which is extremely friendly for engineering development. We first conduct the performance evaluation and comparison based on the MNIST and CIFAR-10 classification tasks. Compared with existing solutions, Popcorn brings a significant communication overhead deduction, with a moderate runtime increase. Then, we benchmark the performance of oblivious inference on ImageNet. To our best knowledge, this is the first report based on a commercial-level dataset, taking a step towards the deployment to production.

研究の動機と目的

• 通信および計算オーバーヘッドを最小限に抑えることで、無作為ニューラルネットワーク推論における効率性とプライバシーのトレードオフを解消する。
• ネットワークアーキテクチャの変更なしにプライバシー保護型推論を可能にし、モデルの精度を維持する。
• Paillier 同型演算に依存することで、エンジニアリングの複雑さを低減し、機械学習エンジニアが容易に導入できるようにする。
• ImageNet などの大規模データセットにおける無作為推論の実用的妥当性を実証する。これは、従来の研究では報告されていなかった。
• モデルの重みとアーキテクチャ（層のニューロン数を除く）を隠すことで、プライバシー漏洩とパフォーマンスのバランスを図る。

提案手法

• ニューラルネットワーク内の標準的な代数的演算を、Paillier 同型暗号に相当するものに置き換えることで、暗号化されたデータ上で計算を可能にする。
• ReLU 活性化関数とマックスプーリングといった非線形層の計算を、Paillier フレームワーク内でするための新規プロトコルを設計する。
• 重みのプルーニングと量子化といったニューラルネットワーク圧縮技術を適用し、線形層（例：畳み込み層や全結合層）の処理を高速化する。
• Paillier の SIMD 的な機能を活用して、複数の入力を1つの暗号文にパックし、通信および計算コストを平均化する。
• モデルアーキテクチャの変更が不要な非侵襲的フレームワークを実装し、既存モデルとの即時統合を可能にする。
• 線形層には同型演算を、非線形層にはカスタムプロトコルを適用するハイブリッドアプローチを採用し、複雑な暗号プリミティブへの依存を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 同型暗号に基づくフレームワークは、ニューラルネットワークアーキテクチャの変更なしに、効率的な無作為推論を達成できるか？
• RQ2 ReLU やマックスプーリングといった非線形演算を、Paillier 同型暗号下で安全かつ効率的に計算する方法は何か？
• RQ3 ニューラルネットワーク圧縮技術は、暗号化推論における計算および通信オーバーヘッドをどの程度低減できるか？
• RQ4 実用的で低漏洩のフレームワークを用いて、ImageNet などの大規模データセットにおける無作為推論が可能か？
• RQ5 Popcorn の通信複雑度は、XONN や Gazelle といった既存ソリューションと比較して、特に大規模モデルにおいてどう異なるか？

主な発見

• MNIST および CIFAR-10 タスクにおいて、Popcorn は通信帯域幅を 1 MB 未満に抑えることができ、XONN や Gazelle より顕著に低い。
• AlexNet を用いた ImageNet 推論において、Popcorn は通信オーバーヘッドを合理的な範囲に保ちながら、Gazelle の実装がメモリ不足エラーで失敗するのを回避した。
• Popcorn の通信複雑度は、活性化数 n に対して O(n) であり、XONN や Gazelle のようなアーキテクチャ依存の手法よりもスケーラブルである。
• 実行時間の増加は控えめである一方で、通信オーバーヘッドは顕著に低減されており、特に大規模モデルにおいて顕著な利点を示す。
• Popcorn は、最先端のモデルを用いて、ImageNet スケールの分類タスクにおける最初の成功した無作為推論を報告したフレームワークである。
• 単純に代数的演算を同型演算に置き換えることで、エンジニアリングの複雑さを最小限に抑え、実用的な導入を可能にする。