[論文レビュー] Split HE: Fast Secure Inference Combining Split Learning and Homomorphic Encryption

George-Liviu Pereteanu, Amir Alansary+1 more|arXiv (Cornell University)|Feb 27, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文では、視覚モデル向けの高速で安全な推論を可能にする、分割学習と同型暗号を組み合わせた新規プロトコル「Split HE」を提案する。最も感受性の高いモデル層をサーバーに保ち、活性化値の一部のみを暗号化することで、先行研究と比較して推論速度が2.5倍～10倍速くなり、通信コストは14倍～290倍低減される。また、メンバーーシップ攻撃およびモデル抽出攻撃に対してより強い耐性を示す。

ABSTRACT

This work presents a novel protocol for fast secure inference of neural networks applied to computer vision applications. It focuses on improving the overall performance of the online execution by deploying a subset of the model weights in plaintext on the client's machine, in the fashion of SplitNNs. We evaluate our protocol on benchmark neural networks trained on the CIFAR-10 dataset using SEAL via TenSEAL and discuss runtime and security performances. Empirical security evaluation using Membership Inference and Model Extraction attacks showed that the protocol was more resilient under the same attacks than a similar approach also based on SplitNN. When compared to related work, we demonstrate improvements of 2.5x-10x for the inference time and 14x-290x in communication costs.

研究の動機と目的

• 既存の同型暗号ベースの安全な推論プロトコルにおける高い計算および通信コストを解消すること。
• データおよびモデルのプライバシーを損なわず、実世界の応用における安全な推論の効率を向上させること。
• 従来の分割学習アプローチと比較して、モデル抽出およびメンバーーシップ推定攻撃に対するセキュリティを強化すること。
• ハイブリッドクライアント・サーバー計算モデルを用いて、より大きなニューラルネットワークの安全なデプロイを可能にすること。
• 分割が可能なさまざまなニューラルネットワークアーキテクチャと互換性があり、汎用的かつ拡張可能なフレームワークを提供すること。

提案手法

• 事前に訓練されたニューラルネットワークを三つの部分に分割する：二つの部分はサーバーに残り、中間部分は平文のままクライアントに送信される。
• クライアントは入力データに対して順方向伝搬を実行し、中間活性化値をサーバーに送信する。サーバーは残りのモデル部分を用いて推論を継続する。
• 同型暗号（TenSEALを介したCKKS方式）は、特定の層に限定して適用される——具体的には、サーバー上に配置された最終層にのみ適用される。
• サーバーは暗号化された活性化値に対して同型演算を実行し、データを復号せずに最終予測を生成する。
• クライアントは暗号化された出力を受信し、ローカルで復号することで最終予測を取得する。
• セキュリティは、ホワイトボックス仮定の下でのカスタムのメンバーーシップ推定攻撃およびモデル抽出攻撃を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな分割学習と同型暗号を組み合わせたプロトコルは、安全なニューラルネットワーク推論において、推論時間と通信コストを顕著に削減できるか？
• RQ2 本プロトコルのセキュリティは、モデル抽出およびメンバーーシップ推定攻撃の観点から、先行の分割学習ベースのアプローチと比較してどのように異なるか？
• RQ3 暗号化された層の配置が、提案アーキテクチャにおけるパフォーマンスとプライバシーに及ぼす影響はどの程度か？
• RQ4 本プロトコルは、より大きなモデルやより複雑なビジョンタスクにスケーリング可能であり、効率性とセキュリティを維持できるか？
• RQ5 ハードウェアおよびソフトウェアスタックの最適化が、プロトコルのパフォーマンスに与える影響は何か？

主な発見

• 本プロトコルは、Delphi や CryptFlow2 を含む関連研究と比較して、推論時間が2.5倍～10倍速くなり、通信コストが14倍～290倍低減される。
• 実験的評価により、Hall ら（2021年）の類似手法よりもメンバーーシップ推定およびモデル抽出攻撃に対して強く耐性があり、モデル再構築の攻撃者適合度（fidelity）が59％までに制限されている。
• DLAアーキテクチャにおいて、モデルの最後から4層を暗号化すると、モデル抽出攻撃の適合度が顕著に低下するが、サーバー側の処理時間が増加する。
• すべてのMNISTクラスにおいて、メンバーーシップ推定攻撃の攻撃者利得は低く、一貫して0.03～0.11の範囲にとどまり、漏洩は最小限である。
• 本プロトコルは汎用的であり、三つの部分に分割可能な任意のニューラルネットワークアーキテクチャをサポートしており、より大きなモデルへのデプロイが可能である。
• 将来のハードウェア最適化（例：Intel AVX512）および同型暗号ライブラリの最適化（例：Concrete、TFHE）により、パフォーマンスの向上が期待される。