[論文レビュー] Privacy-Preserving Deep Learning for any Activation Function.

Le Trieu Phong, Tran Thi Phuong|arXiv (Cornell University)|Sep 10, 2018

Privacy-Preserving Technologies in Data参考文献 17被引用数 13

ひとこと要約

本稿では、複数の参加者が生データを共有せずに確率的勾配降下法（SGD）を用いてニューラルネットワークを共同で学習できるプライバシー保護型ディープラーニングフレームワークを提案する。任意の活性化関数をサポートし、勾配の代わりにモデル重みのみを共有する。すべての参加者（1人を除く）が共謀してもセキュリティが保たれ、完全なSGDの精度を達成しながらプライバシーを保護する。

ABSTRACT

This paper considers the scenario that multiple data owners wish to apply a machine learning method over the combined dataset of all owners to obtain the best possible learning output but do not want to share the local datasets owing to privacy concerns. We design systems for the scenario that the stochastic gradient descent (SGD) algorithm is used as the machine learning method because SGD (or its variants) is at the heart of recent deep learning techniques over neural networks. Our systems differ from existing systems in the following features: {\bf (1)} any activation function can be used, meaning that no privacy-preserving-friendly approximation is required; {\bf (2)} gradients computed by SGD are not shared but the weight parameters are shared instead; and {\bf (3)} robustness against colluding parties even in the extreme case that only one honest party exists. We prove that our systems, while privacy-preserving, achieve the same learning accuracy as SGD and hence retain the merit of deep learning with respect to accuracy. Finally, we conduct several experiments using benchmark datasets, and show that our systems outperform previous system in terms of learning accuracies.

研究の動機と目的

• プライベートなローカルデータセットを露呈せずに複数のデータ所有者間で共同ディープラーニングを可能にすること。
• プライバシー保護型近似を必要とせず、任意の活性化関数をサポートすること。
• すべての参加者が共謀しても、たとえ1人の誠実な参加者しかいなくてもセキュリティを保証すること。
• 標準的なSGDと同等の学習精度を維持することで、ディープラーニングのパフォーマンスメリットを損なわないこと。
• 勾配ではなくモデル重みのみを共有するように設計することで、漏洩リスクを低減すること。

提案手法

• 各データ所有者の現場で局所的に勾配を計算するための安全なマルチパーティ計算（MPC）フレームワークを採用する。
• 勾配の代わりに更新済みのモデル重みのみを参加者間で共有することで、情報漏洩を最小限に抑える。
• 中間計算および重みを保護するために秘密分散と同型暗号技術を用いる。
• 非線形関数を近似や漏洩なしに安全に計算することで、任意の活性化関数をサポートする。
• 複数の悪意ある参加者であっても、誠実な参加者のデータがプライベートであることを保証するようにプロトコルを設計する。
• 標準的なSGDトレーニングループと統合することで、互換性と正確性を維持する。

実験結果

リサーチクエスチョン

• RQ1 プライバシー保護型ディープラーニングシステムは、近似や変更を要せず、任意の活性化関数をサポートできるか？
• RQ2 勾配の代わりにモデル重みを共有することで、プライバシーが向上し、学習精度が維持されるか？
• RQ3 すべての参加者（1人を除く）が共謀しても、システムは安全に保たれるか？
• RQ4 実際の応用において、提案手法は標準的なSGDと同等の学習精度を達成できるか？
• RQ5 モデルの精度とスケーラビリティの観点から、先行研究のプライバシー保護手法と比較してどう異なるか？

主な発見

• 提案手法は、複数のベンチマークデータセットにおいて、標準的なSGDと同等の学習精度を達成しており、プライバシー保護がパフォーマンスに悪影響を及えないことを確認した。
• 先行研究が活性化関数を制限または変更するのに対し、本手法はプライバシー保護型近似を必要とせず、任意の活性化関数をサポートする。
• 勾配の代わりにモデル重みのみを共有することで、情報漏洩が低減され、プライバシー保証が強化された。
• 1人の誠実な参加者と、残りすべてが共謀するという極端な状況でも、システムは安全に保たれ、強力な共謀耐性を示した。
• 実験結果から、標準ベンチマーク上での最終モデル精度において、本手法は先行するプライバシー保護型システムを上回った。