[論文レビュー] CryptoSPN: Privacy-preserving Sum-Product Network Inference

Amos Treiber, Alejandro Molina+3 more|TUbilio (Technical University of Darmstadt)|Feb 3, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用数 7

ひとこと要約

CryptoSPN は、安全なマルチパーティ計算（SMPC）を用いて、暗号的セキュリティを保証する、和積ネットワーク（SPN）のプライバシー保護型推論を可能にするフレームワークである。クライアントデータ、モデル構造、予測結果のすべてについて証明可能なセキュリティを実現する。中規模のSPNにおいて、精度の低下を伴わず数秒で効率的かつ正確な推論を実現し、標準SPNおよびRAT-SPNの両方をサポートするが、性能への影響は最小限に抑えられる。

ABSTRACT

AI algorithms, and machine learning (ML) techniques in particular, are increasingly important to individuals' lives, but have caused a range of privacy concerns addressed by, e.g., the European GDPR. Using cryptographic techniques, it is possible to perform inference tasks remotely on sensitive client data in a privacy-preserving way: the server learns nothing about the input data and the model predictions, while the client learns nothing about the ML model (which is often considered intellectual property and might contain traces of sensitive data). While such privacy-preserving solutions are relatively efficient, they are mostly targeted at neural networks, can degrade the predictive accuracy, and usually reveal the network's topology. Furthermore, existing solutions are not readily accessible to ML experts, as prototype implementations are not well-integrated into ML frameworks and require extensive cryptographic knowledge. In this paper, we present CryptoSPN, a framework for privacy-preserving inference of sum-product networks (SPNs). SPNs are a tractable probabilistic graphical model that allows a range of exact inference queries in linear time. Specifically, we show how to efficiently perform SPN inference via secure multi-party computation (SMPC) without accuracy degradation while hiding sensitive client and training information with provable security guarantees. Next to foundations, CryptoSPN encompasses tools to easily transform existing SPNs into privacy-preserving executables. Our empirical results demonstrate that CryptoSPN achieves highly efficient and accurate inference in the order of seconds for medium-sized SPNs.

研究の動機と目的

• GDPR に準拠する環境において、機械学習におけるプライバシー懸念を解決し、機密性の高いクライアントデータやモデル構造を露呈せずにリモート推論を可能にする。
• クライアント入力とモデルの知的財産権を両方保護する、安全で効率的かつ正確な SPN 推論ソリューションを提供する。
• 機械学習の実務家が暗号の専門知識を深く理解していなくても、ML フレームワークに統合された形でプライバシー保護型 SPN 推論を導入できるようにする。
• 入力データだけでなく、SPN のトポロジーとスコープも隠蔽することで、既存のソリューションよりも強固なプライバシー保証を提供する。
• 中規模の SPN において、現実世界の応用においてセキュリティ、効率性、正確性のバランスをとった実行可能なパフォーマンスを達成する。

提案手法

• ヤオのゲート化回路を用いた安全なマルチパーティ計算（SMPC）を活用し、入力、出力、モデル構造を露呈せずに SPN 推論を実行する。
• SPN を log2 領域における算術回路にコンパイルすることで、プライバシー保護型回路に変換し、効率的な SMPC 評価を可能にする。
• 暗号技術を用いて、確率変数のスコープとネットワークのトポロジーを隠蔽し、構造の難読化を実現する。
• 2段階プロトコルを実装する：セットアップ段階（数分、ギガバイト規模の通信）とオンライン段階（1秒未塔の遅延、メガバイト規模の通信）。
• SMPC で 32ビットおよび 64ビット浮動小数点精度を用い、log2 領域での計算による精度損失は最小限に抑えられる。
• 既存の SPN（例：SPFlow からのもの）を、最小限のユーザー作業でプライバシー保護型実行可能コードに変換するツールを統合する。

実験結果

リサーチクエスチョン

• RQ1 SMPC を用いて、精度を損なわず、かつモデル構造を露呈せずに、SPN 推論をプライバシー保護型で実行可能か？
• RQ2 SPN のサイズ、深さ、密度に応じて、プライバシー保護型 SPN 推論のパフォーマンスはどのようにスケーリングするか？
• RQ3 ゲート化回路や秘密分散などの暗号技術は、SPN の推論効率性と正確性にどの程度の影響を及ぼすか？
• RQ4 フレームワークは、標準 SPN と RAT-SPN の両方をサポートしながらも、強力なプライバシー保証を維持できるか？
• RQ5 SPN のスコープとトポロジーを隠蔽することは、実行時間と通信コストにどの程度の影響を及ぼすか？

主な発見

• 中規模の SPN に対して、オンライン推論が数秒で実現され、セットアップ時間は数分、通信量はギガバイト規模である。
• フレームワークはほぼ完璧な正確性を維持しており、32ビット精度では平滑な SPN 評価と比較して RMSE が 4.2×10⁻⁹、64ビット精度では 2.3×10⁻¹⁷ である。
• 和ノードの数が、積ノードやリーフノードよりも実行時間に顕著な影響を与える。これは、高価な log2 および exp2 演算に起因する。
• ネットワーク密度（特にエッジ数）は、サイズそのものよりもパフォーマンス要因としてより重要であり、密度の高い SPN では著しく高い実行時間が発生する。
• 確率変数のスコープを隠蔽することは、ほぼ無視できるオーバーヘッドにとどまり、平滑な推論と比較して僅かな実行時間の増加にとどまる。
• フレームワークは、モデル構造と入力データの両方を効果的に隠蔽し、既存のソリューションを上回る証明可能なセキュリティ保証を提供する。