[論文レビュー] Efficient Private ERM for Smooth Objectives

Jiaqi Zhang, Kai Zheng+2 more|arXiv (Cornell University)|Mar 29, 2017

Privacy-Preserving Technologies in Data参考文献 7被引用数 15

ひとこと要約

本稿は、勾配降下法と出力ノイズ追加を用いて、滑らかで強い凸性および非凸な目的関数に対する効率的な微分プライバシー付き経験的リスク最小化（ERM）アルゴリズムを提案する。この手法は、従来のプライベートSGD手法と比較して、特にε-DPおよび(ε,δ)-DP設定において、著しく高速な収束を達成するとともに、ほぼ最適な効用を得る。非凸最適化におけるプライベート手法の理論的収束保証は、本稿が初めてである。

ABSTRACT

In this paper, we consider efficient differentially private empirical risk minimization from the viewpoint of optimization algorithms. For strongly convex and smooth objectives, we prove that gradient descent with output perturbation not only achieves nearly optimal utility, but also significantly improves the running time of previous state-of-the-art private optimization algorithms, for both $ε$-DP and $(ε, δ)$-DP. For non-convex but smooth objectives, we propose an RRPSGD (Random Round Private Stochastic Gradient Descent) algorithm, which provably converges to a stationary point with privacy guarantee. Besides the expected utility bounds, we also provide guarantees in high probability form. Experiments demonstrate that our algorithm consistently outperforms existing method in both utility and running time.

研究の動機と目的

• 強い効用保証を維持しつつ、より高速で実用的な微分プライバシー付き最適化アルゴリズムを設計すること。
• 特に大規模データセットにおいて、理論的プライバシー保証と実用的効率のギャップを埋めること。
• 凸設定を超えたプライベート最適化を拡張し、滑らかで非凸な目的関数に対して理論的収束保証を提供すること。
• 正確な解ではなく近似解にノイズ追加を適用することで、プライバシー、効用、実行時間のトレードオフが改善されることを示すこと。
• 非凸目的関数に対して微分プライバシーのもとで、定理的に停留点に収束することを保証する新しいRRPSGDアルゴリズムを開発すること。

提案手法

• 滑らかで強い凸な目的関数に対して、近似解の安定性を活用して実行時間を短縮する、出力ノイズ追加付き勾配降下法を提案する。
• RRPSGD（Random Round Private Stochastic Gradient Descent）を導入し、ランダムなラウンドとノイズ注入を用いて(ε,δ)-微分プライバシーを保証するSGDの変種を構築する。
• Hardtら[11]の安定性解析技術を決定的勾配降下法に適用し、アルゴリズム出力の最悪ケース感度に基づくプライバシー保証を可能にする。
• 目的関数の滑らかさを活用して、より大きな勾配ステップを許容し、プライバシーを維持しつつ収束を加速する。
• 反復によるプライバシーの強化原理を用いて、反復回数を削減したミニバッチSGDの使用を正当化し、プライバシーの次数を損なわずに実行時間を改善する。
• RRPSGDの高確率収束バウンドを導出し、期待値に基づく効用保証をより強い確率的文言に拡張する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法に出力ノイズ追加を適用することで、強い凸性のもとで、ほぼ最適な効用と著しく高速な実行時間の両立が可能か？
• RQ2 非凸目的関数に対して、(ε,δ)-微分プライバシーを保ちつつ、定理的に停留点に収束するプライベート最適化アルゴリズムは存在するか？
• RQ3 正確な解ではなく近似解にノイズ追加を適用することで、プライベートERMにおける効率性と効用のトレードオフが改善されるか？
• RQ4 勾配降下法の安定性を形式的に解析することで、滑らかで非凸な設定においてプライバシー保証を裏付けることができるか？
• RQ5 提案手法は、多様なデータセットにおいて、既存のプライベートSGD手法と比較して最適化誤差と実行時間の両面で優れているか？

主な発見

• 強い凸性および滑らかさを満たす目的関数に対して、提案された出力ノイズ追加付き勾配降下法は、理論的下界（対数要因を除く）に一致する効用バウンドを達成し、既存手法と比較して実行時間のオーダーが著しく改善されている。
• ε-DPではO(nd log(nε/d))、(ε,δ)-DPではO(nd log(nε/√(d log δ)))の実行時間で動作し、従来のプライベートSGD手法のO(n³d³)と比較して著しく高速である。
• BANK、ADULT、CREDITCARD、WINE、BIKEの各データセットにおいて、提案手法はすべてのεおよびδ設定でBassilyら[1]の手法と比較して、より低い最適化誤差とより高速な実行時間を達成している。
• 非凸目的関数に対しては、RRPSGDが期待値の意味で停留点に収束することを定理的に保証しており、微分プライバシー付き非凸最適化における初めての理論的保証である。
• 本手法は高確率収束バウンドを達成しており、期待値に基づく効用保証を上回り、実用的文脈でのロバスト性を向上させている。
• 実験により、一貫して優れた効用と実行時間の両面が確認され、実世界のデータセットではベースラインのプライベートSGDと比較して最大500倍の高速化が達成されている。