[論文レビュー] FALCON: Honest-Majority Maliciously Secure Framework for Private Deep Learning

Sameer Wagh, Shruti Tople+4 more|arXiv (Cornell University)|Apr 5, 2020

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

Falconは、非線形演算（ReLU やバッチ正則化を含む）にモジュラ算術を用いる新規プロトコルを活用することで、3パーティ、誠実多数派、悪意のある攻撃者に対するセキュアな深層ニューラルネットワークのプライベートトレーニングおよび推論フレームワークを提示する。SecureNN や ABY3 よりも最大8倍速い推論性能と16–200倍高い通信効率を達成し、VGG16 や AlexNet といった大規模モデルのサポートも可能である。

ABSTRACT

We propose Falcon, an end-to-end 3-party protocol for efficient private training and inference of large machine learning models. Falcon presents four main advantages - (i) It is highly expressive with support for high capacity networks such as VGG16 (ii) it supports batch normalization which is important for training complex networks such as AlexNet (iii) Falcon guarantees security with abort against malicious adversaries, assuming an honest majority (iv) Lastly, Falcon presents new theoretical insights for protocol design that make it highly efficient and allow it to outperform existing secure deep learning solutions. Compared to prior art for private inference, we are about 8x faster than SecureNN (PETS'19) on average and comparable to ABY3 (CCS'18). We are about 16-200x more communication efficient than either of these. For private training, we are about 6x faster than SecureNN, 4.4x faster than ABY3 and about 2-60x more communication efficient. Our experiments in the WAN setting show that over large networks and datasets, compute operations dominate the overall latency of MPC, as opposed to the communication.

研究の動機と目的

• 悪意のある攻撃者に対して誠実多数派の仮定のもとで、安全で、効率的かつ表現力のある深層学習モデルのプライベートトレーニングおよび推論のためのフレームワークを設計すること。
• 実世界の応用において重要な、AlexNet や VGG16 といった複雑で高容量のニューラルネットワークをサポートすること。
• 現代のディープラーニングにおいて重要な要素であるバッチ正則化を、セキュアなマルチパーティコンピューティング（MPC）環境でネイティブにサポートすること。
• 特に広域ネットワーク（WAN）環境において、既存のセキュアなディープラーニングフレームワークと比較して、通信および計算のオーバーヘッドを低減すること。
• 非線形関数のためのMPCプロトコル設計における理論的および実用的知見を提供し、効率的かつ安全な計算を可能にすること。

提案手法

• 誠実多数派の改ざんモデルを採用した3パーティ秘密分散ベースのMPCフレームワークを採用し、悪意のある攻撃者に対するセキュリティを確保する。
• ガーブルドサーキットや同型暗号に依存しない、モジュラ算術のみを用いた非線形演算（特にReLUおよびバッチ正則化）のための新規プロトコルを導入する。
• 算術的秘密分散と最適化された回路コンパイルを組み合わせた、非線形層に特化した新しいセキュア計算フレームワークを設計する。
• 相互作用の最小化と効率的なモジュラ算術演算の活用により、ラウンド複雑性と通信量を最適化する。
• 線形演算には秘密分散を、非線形演算にはカスタムプロトコルを組み合わせたハイブリッドアプローチを採用し、トレーニングおよび推論の両方で高いパフォーマンスを実現する。
• 深層学習モデル（例：VGG16、AlexNet）をセキュアなMPC回路にマップするためのカスタムコンパイラおよびプランナを活用し、パフォーマンスロスを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 悪意のある攻撃者に対して誠実多数派の仮定のもとで、VGG16 や AlexNet といった大規模モデルを効率的にサポートできるセキュアなディープラーニングフレームワークは構築可能か？
• RQ2 広域ネットワーク（WAN）環境におけるMPC設定において、パフォーマンスを損なうことなく、バッチ正則化を安全かつ効率的に計算する方法は何か？
• RQ3 WAN環境におけるMPCベースのプライベートディープラーニングにおける性能ボトルネックは何か。それらはどのように緩和できるか？
• RQ4 ガーブルドサーキットや同型暗号に依存しない、新規のモジュラ算術ベースのプロトコルが、ReLU やバッチ正則化の計算において、従来の手法を上回る性能を発揮できるか？
• RQ5 プライベートディープラーニングにおいて、強固なセキュリティと高い効率性を両立させるために、どのようなプロトコル設計の原則が重要か？

主な発見

• Falcon は、SecureNN（PETS'19）と比較して最大8倍速い推論を達成し、ABY3（CCS'18）と同等の速度を実現している一方で、通信効率が16–200倍優れている。
• プライベートトレーニングにおいては、SecureNN より6倍速く、ABY3 より4.4倍速く、通信効率は2–60倍優れている。
• WAN環境では計算が遅延の主因であることが示され、非線形演算のような計算集約型処理の最適化がパフォーマンス向上に不可欠であることがわかった。
• Falcon は、完全な悪意のある攻撃者対策と誠実多数派の仮定のもとで、VGG16 や AlexNet のプライベートトレーニングおよび推論をサポートする最初のフレームワークである。
• Falcon は、MPC環境においてReLUおよびバッチ正則化のための効率的でモジュラ算術ベースのプロトコルを初めて提供し、高コストなガーブルドサーキットへの依存を顕著に低減した。
• Falcon は、ラウンド複雑性および通信複雑性の理論的改善が、Tiny ImageNet などの実世界のデータセットにおいて顕著な実用的パフォーマンス向上に結びつくことを示した。