[論文レビュー] Low Latency Privacy Preserving Inference

Alon Brutzkus, Oren Elisha+1 more|arXiv (Cornell University)|Dec 27, 2018

Privacy-Preserving Technologies in Data被引用数 53

ひとこと要約

本論文は、低遅延のホモモルフ暗号ベースのプライベート推論手法 LoLa を提案し、プライベートなニューラルネットワーク予測を著しく高速化する方法と、深層表現に対する推論を約0.16秒に抑える転移学習アプローチを提案します。

ABSTRACT

When applying machine learning to sensitive data, one has to find a balance between accuracy, information security, and computational-complexity. Recent studies combined Homomorphic Encryption with neural networks to make inferences while protecting against information leakage. However, these methods are limited by the width and depth of neural networks that can be used (and hence the accuracy) and exhibit high latency even for relatively simple networks. In this study we provide two solutions that address these limitations. In the first solution, we present more than $10 imes$ improvement in latency and enable inference on wider networks compared to prior attempts with the same level of security. The improved performance is achieved by novel methods to represent the data during the computation. In the second solution, we apply the method of transfer learning to provide private inference services using deep networks with latency of $\sim0.16$ seconds. We demonstrate the efficacy of our methods on several computer vision tasks.

研究の動機と目的

• プライベートなニューラルネットワーク推論における精度、データプライバシー、計算効率のトレードオフに対処する。
• セキュリティを維持しつつ、従来のHEベースのプライベート推論手法よりもレイテンシとメモリ使用量を改善する。
• 精度を犠牲にすることなく、より広く深いネットワークでのプライベート推論を可能にする。
• ノイズ増加とメッセージサイズを減らすための深層表現を用いたプライベート推論を探る。
• 標準的なビジョンベンチマーク（MNIST、CIFAR-10）および CalTech-101 で実用的なプライベート推定を実証する。

提案手法

• 暗号化データ上でニューラルネットワーク計算を行うために、同型暗号（BFVスキーム）を用いる。
• 暗号化データを複数のデータ表現（dense、sparse、interleaved、convolution、stacked）で表現し、行列ベクトル乗算を最適化するために表現を切替える。
• 各表現に合わせた行列ベクトル乗算技術を開発・適用する（dense-ROW、sparse-COL、stacked-ROW、interleaved-ROW、convolution表現）。
• MNISTでLoLaをデモンストレーションするため、入力をconvolution表現としてエンコードし、回転と足し算を用いたレイヤー単位の演算でレイテンシとメモリ使用量を最小化する。
• 大規模ネットワークを用いてCIFAR-10にLoLaを適用し、メモリの制約でCryptoNetsが実用不能となる場所での実現性を示す。
• 深層表現を用いたプライベート推論（転移学習）を提案。深いネットワークがデータを圧縮表現に前処理し、それを暗号化してプライベート評価を行う。CalTech-101で0.16秒のレイテンシと81.6%のクラスバランス精度で検証。

実験結果

リサーチクエスチョン

• RQ1 LoLaは128ビットのセキュリティ設定の下で、CryptoNetsと同等の精度を維持しつつ、著しく低いレイテンシを達成できるか？
• RQ2 異なる暗号化データ表現は、レイテンシ、メモリ使用量、および広い・深いネットワークへのスケーラビリティにどう影響するか？
• RQ3 深層表現を用いた転移学習は、大規模な視覚タスクにおけるプライベート推論の実用的なアプローチですか？
• RQ4 標準的な視覚データセット（MNIST、CIFAR-10）および転移学習シナリオにプライベート推論を適用する際の実用的な性能トレードオフは何ですか？

主な発見

• LoLaはプライベートMNIST推論を最短2.2秒で実現し、CryptoNetsより約11倍、全体で約93倍高速。
• LoLaはより広いネットワークでの推論を可能にし、CryptoNetsと比較してメモリ使用量を劇的に削減。RAMの制約でCryptoNetsがCIFAR-10規模に対応できない場合でも実現可能。
• LoLa-DenseとLoLa-Smallのバリアントは異なるレイテンシ-精度のトレードオフを提供。128-bitセキュリティ下でLoLaは2.2sのレイテンシとMNIST精度98.95%を達成。
• 深層表現を用いた転移学習ベースのプライベート推論アプローチはCalTech-101のプライベート予測を0.16秒で実行し、81.6%のクラスバランス精度を達成。
• CryptoNetsの推論待機時間は元は205s、改良SEAL実装で24.8sに削減。LoLaはこれをさらに削減し、MNISTで約98.95%の高精度を維持。
• 本論文はMNISTおよびCIFAR-10ベンチマークでのプライベート推論を示し、従来のHEベース手法に対するレイテンシとメモリ効率の大幅な向上を強調している。