[論文レビュー] MPC-enabled Privacy-Preserving Neural Network Training against Malicious Attack

Ziyao Liu, Ivan Tjuawinata+2 more|arXiv (Cornell University)|Jul 24, 2020

Cryptography and Data Security参考文献 15被引用数 7

ひとこと要約

本稿では、SPDZフレームワークに基づくMPCを用いた、悪意ある敵対者でさえも多数の参加者が改ざんしている状況でも安全である、プライバシー保護型ニューラルネットワーク学習のための効率的で積極的セキュアなnパーティプロトコルを提示する。LANおよびWAN環境下で、半悪意的プロトコルと比較して2X–2.7Xのオーバーヘッドで積極的セキュリティを達成し、MAC保護されたアーティファクトの使用を可能にする、整数環の共有から有限体の共有への新しい変換方式を導入する。

ABSTRACT

The application of secure multiparty computation (MPC) in machine learning, especially privacy-preserving neural network training, has attracted tremendous attention from the research community in recent years. MPC enables several data owners to jointly train a neural network while preserving the data privacy of each participant. However, most of the previous works focus on semi-honest threat model that cannot withstand fraudulent messages sent by malicious participants. In this paper, we propose an approach for constructing efficient $n$-party protocols for secure neural network training that can provide security for all honest participants even when a majority of the parties are malicious. Compared to the other designs that provide semi-honest security in a dishonest majority setting, our actively secure neural network training incurs affordable efficiency overheads of around 2X and 2.7X in LAN and WAN settings, respectively. Besides, we propose a scheme to allow additive shares defined over an integer ring $\mathbb{Z}_N$ to be securely converted to additive shares over a finite field $\mathbb{Z}_Q$, which may be of independent interest. Such conversion scheme is essential in securely and correctly converting shared Beaver triples defined over an integer ring generated in the preprocessing phase to triples defined over a field to be used in the calculation in the online phase.

研究の動機と目的

• 既存のプライバシー保護型ニューラルネットワーク学習プロトコルが半悪意的敵対者を仮定していることによる、積極的セキュリティの欠如に対処すること。
• 最大n−1名の参加者が悪意を持つ可能性があるnパーティ間での安全なニューラルネットワーク学習を可能にし、誠実な参加者が保護されることを保証すること。
• 従来の半悪意的設計と比較して、MPCベースのニューラルネットワーク学習における積極的セキュリティの効率的オーバーヘッドを低減すること。
• MAC保護された算術計算に使用するため、加法的共有を整数環ℤₙから有限体ℤ_qに変換する安全で効率的なメカニズムを開発すること。

提案手法

• 不正多数設定下での積極的セキュリティを実現するために、事前に計算されたBeaver三重項とメッセージ認証コード（MAC）を用いたSPDZフレームワークを活用する。
• 2つのPaillier暗号方式の実装を用いて、MAC検証を安全に実行可能な、整数環ℤₙの加法的共有から有限体ℤ_qへの変換を可能にする新しい共有変換プロトコルを導入する。
• 事前処理モデルを採用し、Beaver三重項を事前にℤₙ上で生成し、オンライン計算フェーズでℤ_qに変換して使用する。
• 秘密分散と加法的準同型性を用い、学習中における正しさと機微性を保証する暗号技術を適用する。
• 高精度算術演算の実装としてGmpy2を採用し、セキュリティを確保するため、有限体サイズQ > 2¹⁴⁵を設定する。
• MNISTを用いた評価において、バッチサイズ64および128の完全結合型および畳み込みニューラルネットワークをLANおよびWANネットワーク環境下で評価する。

実験結果

リサーチクエスチョン

• RQ1 不正多数設定下で、許容可能な性能オーバーヘッドで、悪意ある敵対者に対して積極的セキュリティを提供するMPCベースのニューラルネットワーク学習プロトコルを設計できるか？
• RQ2 MACベースの検証を可能にするために、整数環ℤₙの加法的共有を有限体ℤ_qに安全に変換する方法は何か？
• RQ3 半悪意的設計と比較して、ニューラルネットワーク学習における積極的セキュリティを実現する際の実際の性能コストはどの程度か？
• RQ4 WANのような実世界の環境において、ネットワーク遅延と帯域幅の変化に伴い、通信コストと計算コストはどのようにスケーリングするか？
• RQ5 提案されたプロトコルは、悪意ある参加者が存在する状況でも、高いモデル精度を維持できるか？

主な発見

• 提案されたプロトコルは、LANおよびWAN環境下で、半悪意的プロトコルと比較してそれぞれ2.0x～2.7xの性能オーバーヘッドで、不正多数設定下で悪意ある敵対者に対して積極的セキュリティを達成する。
• 10エポック、バッチサイズ64のDNNの場合、LANでは2.92時間、WANでは40.25時間で学習が完了し、97.75%の精度を達成する。
• 10エポック、バッチサイズ64のCNNの場合、LANでは16.50時間、WANでは85.28時間で学習が完了し、98.08%の精度を達成する。
• モデルの複雑さが増すに従い通信コストが著しく上昇し、WAN環境下のCNN学習では2.42 GBに達するが、依然として実用的な範囲内に収まる。
• ℤₙからℤ_qへの共有変換手法により、MAC保護されたSPDZプロトコルにおけるBeaver三重項の安全かつ正確な使用が可能となり、これは積極的セキュリティの実現に不可欠である。
• CNNでは97.00%、DNNでは95.03%の高いモデル精度を維持しており、平文での学習と同等の性能を示し、正しさと実用性を裏付けている。