[論文レビュー] Industrial Scale Privacy Preserving Deep Neural Network

Longfei Zheng, Chaochao Chen+7 more|arXiv (Cornell University)|Mar 11, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用数 19

ひとこと要約

本稿では、産業応用を想定したスケーラブルなプライバシー保護型ディープニューラルネットワークフレームワークP²N²を提案する。データ保有者が暗号技術を用いて自身のデータ上でプライベート計算を実行する一方で、中立的なサーバーが非機密な層を処理する。この手法は、実世界の不正検出および財務危機予測データセットにおいて、ベースラインモデルにほぼ同等の精度を達成し、隠れ層表現に対するモデル逆転攻撃に対するプライバシー強化のための新規防御メカニズムを備えている。

ABSTRACT

Deep Neural Network (DNN) has been showing great potential in kinds of real-world applications such as fraud detection and distress prediction. Meanwhile, data isolation has become a serious problem currently, i.e., different parties cannot share data with each other. To solve this issue, most research leverages cryptographic techniques to train secure DNN models for multi-parties without compromising their private data. Although such methods have strong security guarantee, they are difficult to scale to deep networks and large datasets due to its high communication and computation complexities. To solve the scalability of the existing secure Deep Neural Network (DNN) in data isolation scenarios, in this paper, we propose an industrial scale privacy preserving neural network learning paradigm, which is secure against semi-honest adversaries. Our main idea is to split the computation graph of DNN into two parts, i.e., the computations related to private data are performed by each party using cryptographic techniques, and the rest computations are done by a neutral server with high computation ability. We also present a defender mechanism for further privacy protection. We conduct experiments on real-world fraud detection dataset and financial distress prediction dataset, the encouraging results demonstrate the practicalness of our proposal.

研究の動機と目的

• 大規模データセットおよび深層アーキテクチャを伴う実世界の産業環境において、暗号技術を用いたDNNのスケーラビリティ制限を解消すること。
• データ共有なしに安全なマルチパーティ学習を可能にし、準正直な攻撃者モデル下でもプライバシーを保持すること。
• 非プライベートな計算を信頼できるサーバーに委ねることで、プライベートなデータとその処理をデータ保有者の側に留保することにより、プライバシーと効率のバランスを図ること。
• 隠れ層表現に対するモデル逆転攻撃を防止する防御メカニズムを導入し、プライバシー保護を強化すること。
• 実世界の金融データセット上でフレームワークを検証し、非プライベートモデルと同等の実用性と性能を示すこと。

提案手法

• DNNの計算グラフを2つに分割：データ保有者が暗号技術を用いて実行するプライベートなデータ関連層、および中立的なサーバーが処理する非プライベートな層。
• 秘密分散と同型暗号のプリミティブを用いて、データ保有者の側で安全に隠れ表現を計算する。
• 残りの順方向および逆方向伝搬処理を、高性能な中立的サーバーに委ねることで、各参加者の計算負荷を低減する。
• 防御ネットワークを損失関数内の正則化成分として導入し、隠れ活性化からプライベートな入力を再構築するリスクを最小限に抑える。
• 交差エントロピー損失と防御損失を統合した共同損失関数を用いて、ハイパーパrameter λ でバランスを取ったエンドツーエンドの最適化を実施する。
• 各ノードがプライベートなデータを保有し、データ交換なしに協調的に共有モデルを学習する分散型環境にフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 プライバシー保護型DNNフレームワークは、大規模産業データセットおよび深層アーキテクチャにおいて、強固なセキュリティ保証を維持しながらスケーラブルに拡張可能か？
• RQ2 マルチパーティDNN学習における暗号技術の計算および通信オーバーヘッドをどのように低減できるか？
• RQ3 防御メカニズムは、隠れ層表現に対するモデル逆転攻撃をどの程度防止できるか？
• RQ4 ハイパーパrameter λ を用いて防御の影響を調整する際、モデル精度とプライバシー保護の間のトレードオフはどのようなものか？
• RQ5 提案されたフレームワークは、実世界の金融データセットにおいて非プライベートDNNと同等の性能を達成できるか？

主な発見

• P²N²は、実世界の不正検出および財務危機予測データセットにおいて、非プライベートベースラインと1%以内の精度差で性能を達成した。
• 防御メカニズムにより、プライベート入力の回復攻撃の成功率が顕著に低下した。MNISTにおける可視化比較では、防御機能を有効化した場合、回復された数字が著しく認識しにくくなっている。
• モデル精度は、防御重み λ が中程度の値でピークに達し、λ が大きすぎると低下する傾向にあり、プライバシーと性能の明確なトレードオフが確認された。
• 実行時間はデータセットサイズに対して劣線形にスケーリングされ、大規模産業データセットへの実用的スケーラビリティを示した。
• サーバーがプライベート入力および隠れ層に部分的アクセスを持つ強力な攻撃モデル下でも、フレームワークは依然として頑健であった。これは、防御メカニズムの有効性を裏付けている。
• 本手法により、データ共有なし、かつサーバーの信頼を必要としないマルチパーティ分散型環境下でも、プライバシー保護型学習が可能となった。