[論文レビュー] nGraph-HE: A Graph Compiler for Deep Learning on Homomorphically Encrypted Data

Fabian Boemer, Yixing Lao+2 more|arXiv (Cornell University)|Oct 23, 2018

Cryptography and Data Security被引用数 23

ひとこと要約

nGraph-HE は、Intel の nGraph におけるグラフコンパイラー拡張であり、深層学習モデルを同型暗号化されたデータ上で実行可能にし、最小限のコード変更で実現する。同型暗号化を最初からハードウェアターゲットとして扱うことで、コンパイル時および実行時における HE 対応最適化を適用し、乗算深さの低減と HE-SIMD パッケージングにより、最大 1.2 倍の高速化を達成。これによりエンドツーエンドのプライバシー保護型推論が実現される。

ABSTRACT

Homomorphic encryption (HE)---the ability to perform computation on encrypted data---is an attractive remedy to increasing concerns about data privacy in deep learning (DL). However, building DL models that operate on ciphertext is currently labor-intensive and requires simultaneous expertise in DL, cryptography, and software engineering. DL frameworks and recent advances in graph compilers have greatly accelerated the training and deployment of DL models to various computing platforms. We introduce nGraph-HE, an extension of nGraph, Intel's DL graph compiler, which enables deployment of trained models with popular frameworks such as TensorFlow while simply treating HE as another hardware target. Our graph-compiler approach enables HE-aware optimizations-- implemented at compile-time, such as constant folding and HE-SIMD packing, and at run-time, such as special value plaintext bypass. Furthermore, nGraph-HE integrates with DL frameworks such as TensorFlow, enabling data scientists to benchmark DL models with minimal overhead.

研究の動機と目的

• GDPR などの規制に応じて高まるプライバシー保護型機械学習のニーズに対応する。
• 現在、深層学習、暗号技術、システムプログラミングの深い専門知識を要する、同型暗号化されたデータ上での深層学習モデルのデプロイの複雑さを軽減する。
• データサイエンティストが、TensorFlow などの馴染みのあるフレームワークを最小限の変更で使用して、暗号化されたデータ上でトレーニング済みモデルをデプロイできるようにする。
• グラフコンパイラーのスタック内で同型暗号化を最初からハードウェアターゲットとして統合し、低レベルの暗号技術の複雑さを抽象化する。
• コンパイル時および実行時の HE 対応最適化により、プライバシー保護型推論を高速化する。

提案手法

• nGraph-HE は、Intel の nGraph グラフコンパイラーを拡張し、同型暗号化（HE）を最初からハードウェアターゲットとして扱うことで、暗号化されたデータ上でモデルをデプロイ可能にする。
• 中間表現（IR）を用いてディープラーニングの計算を表現し、コンパイル時にバッチ正規化の畳み込みや HE-SIMD パッケージングなどの HE 対応最適化を適用する。
• SEAL ライブラリとの統合により、BFV や CKKS などの複数の HE スキームをサポートし、柔軟なデプロイを可能にする。
• 実行時における特別なプレーンテキスト値のバイパス機能により、既知の値に対して不要な暗号化を回避し、パフォーマンスを向上させる。
• TensorFlow などのフレームワークとのエンドツーエンド統合をサポートし、最小限のコード変更でモデル変換が可能である。たとえば、HE 推論を有効化するには 1 行のコード追加で十分である。
• 計算深さの分析に基づき、HE セキュリティパラメータの自動選択を可能にし、将来的にはコンパイル時における自動化も見据えている。

実験結果

リサーチクエスチョン

• RQ1 グラフコンパイラーを拡張して、ディープラーニングにおける同型暗号化を最初からハードウェアターゲットとしてサポートできるか？
• RQ2 コンパイル時および実行時に効果的な HE 対応最適化を適用することで、暗号化されたデータ上でパフォーマンスをどのように向上させられるか？
• RQ3 TensorFlow などの既存のディープラーニングフレームワークを、最小限のコード変更でプライバシー保護型推論をサポートするように拡張できるか？
• RQ4 バッチ正規化の畳み込みや HE-SIMD パッケージングなどの HE 最適化を適用する際、生じるパフォーマンスと精度のトレードオフはどの程度か？
• RQ5 モデルの計算深さを自動的に分析し、HE セキュリティパラメータの選択を支援できるか？

主な発見

• nGraph-HE は、1 行のコード追加で HE 推論を有効化するなど、最小限のコード変更で、トレーフィング済みディープラーニングモデルを同型暗号化されたデータ上でデプロイ可能である。
• バッチ正規化の畳み込みにより乗算深さを低減することで、最大 1.2 倍の高速化を達成し、暗号化のモジュラス数を減らしてパフォーマンスを向上させた。
• HE-SIMD パッケージングにより、1 バッチあたり最大 8192 枚の画像を一度に処理でき、スループットとスロット利用率が著しく向上した。
• BN フォールディングを有効にすると、CIFAR-10 ネットワークの乗算深さが 10 から 8 に低下し、精度を維持したままセキュリティレベル（128 < λ < 192）を低くできるようになった。
• 多項式活性化関数と勾配クリッピングを適用しても、複数の設定においても高い精度（CIFAR-10 で 62.2%）を維持した。
• CIFAR-10 の推論時間は 10 回試行あたり 1321 秒から 1651 秒の範囲にあり、平均化された実行時間は 1 枚あたり 0.161–0.202 秒であった。実用的な実行可能性が示された。