[論文レビュー] FALCON: A Fourier Transform Based Approach for Fast and Secure Convolutional Neural Network Predictions

Shaohua Li, Kaiping Xue+5 more|arXiv (Cornell University)|Nov 20, 2018

Privacy-Preserving Technologies in Data参考文献 28被引用数 11

ひとこと要約

FALCON は、フーリエ変換に基づく最適化と完全準同型暗号を用いて、畳み込みニューラルネットワーク（CNN）の評価を新規で高速かつ安全に行う手法を提示する。プライバシー保護型推論を効率的に行い、CNN の中で計算が複雑なソフトマックス計算のための最初の実用的プロトコルを提供する。MNIST および CIFAR-10 モデルにおいて、従来手法よりも 25 倍以上高速で、通信量も 97% 減少する。

ABSTRACT

Machine learning as a service has been widely deployed to utilize deep neural network models to provide prediction services. However, this raises privacy concerns since clients need to send sensitive information to servers. In this paper, we focus on the scenario where clients want to classify private images with a convolutional neural network model hosted in the server, while both parties keep their data private. We present FALCON, a fast and secure approach for CNN predictions based on Fourier Transform. Our solution enables linear layers of a CNN model to be evaluated simply and efficiently with fully homomorphic encryption. We also introduce the first efficient and privacy-preserving protocol for softmax function, which is an indispensable component in CNNs and has not yet been evaluated in previous works due to its high complexity. We implemented the FALCON and evaluated the performance on real-world CNN models. The experimental results show that FALCON outperforms the best known works in both computation and communication cost.

研究の動機と目的

• 機械学習サービスにおけるプライバシー懸念に対処し、クライアントとサーバーが入力データおよびモデルパラメータを保護する必要があること。
• 機密データやモデル重みを露呈させることなく、CNN における安全で効率的な推論を可能にすること。
• CNN の計算が複雑なソフトマックス層のための、最初の効率的でプライバシー保護型プロトコルを設計すること。
• 既存手法と比較して、安全な CNN 推論における計算および通信のオーバーヘッドを大幅に削減すること。

提案手法

• 高速フーリエ変換（FFT）の線形性を活用して、畳み込み層および全結合層における完全準同型暗号評価を最適化する。
• 格子ベースの完全準同型暗号を適用し、暗号文乗算のオーバーヘッドを最小限に抑えて線形層を安全に評価する。
• 指数関数および除算の困難さに起因する従来の制限を克服し、プライバシー保護型で効率的なソフトマックス関数の計算プロトコルを新規に導入する。
• 非線形層（ReLU やマックスプーリングなど）の安全な評価に、ヨアのガーブルド回路を用い、最適化された処理パイプラインを実装する。
• 小数値を整数として表現するための固定小数点演算とスケーリングを採用し、暗号化計算における精度損失を最小限に抑える。
• 準同型暗号と安全な二当事者計算を組み合わせたハイブリッドアーキテクチャを採用し、効率性とセキュリティのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 完全準同型暗号下で、高速フーリエ変換を用いることで、CNN の線形層の安全な評価を顕著に高速化できるか？
• RQ2 ソフトマックス関数のための効率的でプライバシー保護型プロトコルを設計可能かであり、これは従来の安全なディープラーニング研究で見過ごされてきた。
• RQ3 FALCON フレームワークは、MiniONN や GAZELLE といった既存の安全な推論システムと比較して、性能および通信コストの点でどのように差をつけるか？
• RQ4 固定小数点近似は、暗号化された CNN モデルの予測精度にどの程度影響を与えるか？

主な発見

• CIFAR-10 モデルにおいて、FALCON はオンラインフェーズの計算を MiniONN よりも 25 倍以上高速化し、通信オーバーヘッドを 97% 減少させた。
• MNIST モデルでは、FALCON はオンラインフェーズで MiniONN よりも 27 倍以上高速であり、通信量も 97% 以上削減した。
• GAZELLE ですら、報告されたベンチマークの不整合によりその性能主張に疑問が呈されたが、FALCON はオンライン計算および通信の両面で GAZELLE を上回った。
• 平文推論とほぼ同一の精度を維持した：MNIST では 99.26%、CIFAR-10 では 81.61% であり、固定小数点スケーリングによる精度損失は最小限に抑えられた。
• FALCON は、暗号化された CNN 推論におけるソフトマックス層のための、安全で効率的かつ実用的なプロトコルを提供する最初のフレームワークである。
• FFT と最適化された準同型暗号の活用により、高価な暗号文乗算の回数が削減され、すべての CNN 層において顕著な性能向上が達成された。