[論文レビュー] Efficient Privacy-Preserving Nonconvex Optimization.

Lingxiao Wang, Bargav Jayaraman+2 more|arXiv (Cornell University)|Oct 30, 2019

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

本稿では、非凸な経験的リスク最小化（ERM）のための、微分プライバシーを満たす確率的勾配降下法（DP-SGD）を提案し、勾配の複雑さを低減することで、きめ細かいプライバシーと実用性の保証を達成する。この手法は、安全なマルチパーティ計算（MPC）を用いて分散環境へ拡張され、中央集権的性能を維持しながら、実データおよびベンチマークデータセット上でも強力なプライバシーと効率性を保証する。

ABSTRACT

While many solutions for privacy-preserving convex empirical risk minimization (ERM) have been developed, privacy-preserving nonconvex ERM remains under challenging. In this paper, we study nonconvex ERM, which takes the form of minimizing a finite-sum of nonconvex loss functions over a training set. To achieve both efficiency and strong privacy guarantees with efficiency, we propose a differentially-private stochastic gradient descent algorithm for nonconvex ERM, and provide a tight analysis of its privacy and utility guarantees, as well as its gradient complexity. We show that our proposed algorithm can substantially reduce gradient complexity while matching the best-known utility guarantee obtained by Wang et al. (2017). We extend our algorithm to the distributed setting using secure multi-party computation, and show that it is possible for a distributed algorithm to match the privacy and utility guarantees of a centralized algorithm in this setting. Our experiments on benchmark nonconvex ERM problems and real datasets demonstrate superior performance in terms of both training time and utility gains compared with previous differentially-private methods using the same privacy budgets.

研究の動機と目的

• 凸な場合と比較して、非凸な経験的リスク最小化（ERM）における効率的でプライバシー保護型の最適化手法のギャップを埋める。
• 非凸なERMに特化した、プライバシー、実用性、計算効率のバランスを取った、微分プライバシーを満たす確率的勾配降下法を開発する。
• 先行研究と比較して、勾配の複雑さを顕著に低減しつつ、非凸DP-ERMで最高水準の実用性保証を達成する。
• 安全なマルチパーティ計算（MPC）を用いて、中央集権的アルゴリズムを分散環境へ拡張し、分散プロトコルが中央集権的同等のプライバシーと実用性を維持できることを保証する。
• 固定されたプライバシー予算のもとで、ベンチマークおよび実世界の非凸ERM問題において、訓練時間と実用性の両面で優れた実証的性能を示す。

提案手法

• 非凸な有限和最小化問題に特化した、新しい微分プライバシーを満たす確率的勾配降下法（DP-SGD）を提案する。
• 高度な合成定理を用いた洗練されたプライバシー解析を導入し、プライバシー損失をきめ細かく制御することで、勾配計算回数を減らしてもより強いプライバシー保証を可能にする。
• ノイズ注入とステップサイズ選択の精密なキャリブレーションにより、勾配評価回数を最小限に抑えつつ、実用性を維持するための勾配複雑さ最適化を実現する。
• 安全なマルチパーティ計算（MPC）を活用し、生データを露呈せずに分散学習を可能にし、分散環境下でもエンドツーエンドのプライバシーを確保する。
• 中央集権的アルゴリズムのプライバシーと実用性を分散環境でも保証する通信効率の良いプロトコルを設計する。
• 適応的学習率と勾配クリッピング機構を統合し、非凸な最適化領域でも学習の安定性を維持しながら、微分プライバシーを保持する。

実験結果

リサーチクエスチョン

• RQ1 非凸なERMのための微分プライバシー最適化アルゴリズムは、既存手法と比較して、より強いプライバシー保証と高い実用性を達成しつつ、勾配の複雑さを低減できるか？
• RQ2 同じプライバシー予算のもとで、本稿で提案するDP-SGDアルゴリズムは、Wangら（2017）の最先端手法と比較して、実用性と効率性においてどのように差をつけるか？
• RQ3 安全なマルチパーティ計算を用いて、分散型DP-ERMアルゴリズムを設計可能か。その結果、中央集権的同等のプライバシーと実用性を達成できるか？
• RQ4 本稿の手法は、実世界およびベンチマークの非凸ERMデータセットにおいて、訓練時間をどれほど短縮し、モデルの実用性をどれほど向上できるか？
• RQ5 勾配の複雑さ低減は、微分プライバシーを満たす非凸最適化の収束性および一般化性能にどのような影響を及ぼすか？

主な発見

• 提案されたDP-SGDアルゴリズムは、非凸ERMで最高水準の実用性保証を達成しており、Wangら（2017）と同等の性能を示す一方で、勾配の複雑さを顕著に低減している。
• アルゴリズムは優れた訓練効率を示し、ベンチマークおよび実データセットの両方で、先行する微分プライバシー手法と比較して、訓練時間を顕著に短縮している。
• 分散環境では、MPCに基づく拡張が中央集権的アルゴリズムと同等のプライバシーと実用性を達成しており、性能に損失を伴わずに強力なプライバシーを維持できることを実証した。
• 実証的結果から、同じプライバシー予算のもとで明確な実用性の向上が確認され、実世界の非凸学習シナリオにおける本手法の有効性が裏付けられた。
• 洗練されたプライバシー解析により、よりきめ細かいプライバシー会計が可能となり、ノイズのキャリブレーションをより積極的に行えるようになり、モデル性能が向上した。
• 本手法は大規模な非凸問題に対しても効果的にスケーリングでき、多様なデータセットおよびアーキテクチャにおいて、強力なプライバシーと実用性を維持している。