[論文レビュー] Private Stochastic Convex Optimization with Optimal Rates

Raef Bassily, Vitaly Feldman+2 more|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用数 56

ひとこと要約

この論文は、微分プライバシーを満たす確率的凸最適化（SCO）における最適な過剰母集団損失率を確立し、対数要因を除いて非プライベートなレート $1/\sqrt{n}$ と一致することを示している。アルゴリズム的安定性を活用し、既存のプライベートなアルゴリズムを精緻化することで、プライベートでないSCOとプライベートSCOの性能の間の長年のギャップを埋めている。

ABSTRACT

We study differentially private (DP) algorithms for stochastic convex optimization (SCO). In this problem the goal is to approximately minimize the population loss given i.i.d.~samples from a distribution over convex and Lipschitz loss functions. A long line of existing work on private convex optimization focuses on the empirical loss and derives asymptotically tight bounds on the excess empirical loss. However a significant gap exists in the known bounds for the population loss. We show that, up to logarithmic factors, the optimal excess population loss for DP algorithms is equal to the larger of the optimal non-private excess population loss, and the optimal excess empirical loss of DP algorithms. This implies that, contrary to intuition based on private ERM, private SCO has asymptotically the same rate of $1/\sqrt{n}$ as non-private SCO in the parameter regime most common in practice. The best previous result in this setting gives rate of $1/n^{1/4}$. Our approach builds on existing differentially private algorithms and relies on the analysis of algorithmic stability to ensure generalization.

研究の動機と目的

• 微分プライバシーを満たす確率的凸最適化（SCO）における過剰母集団損失の既知の境界と非プライベートSCOの境界との間のギャップを埋めること。
• 実用的なパrameter設定において、プライベートSCOが非プライベートSCOと同様の収束速度を有するかどうかを特定すること。
• DPアルゴリズムの最適な過剰母集団損失に対するタイトな境界を確立し、プライベート最適化における未解決の問題を解決すること。

提案手法

• 著者たちは、母集団損失をバウンディングするための主要なツールであるアルゴリズム的安定性を用いて、微分プライバシーを満たすアルゴリズムの一般化特性を分析している。
• 既存のプライベート最適化アルゴリズムに着目し、それらの解析を精緻化することで、よりタイトな一般化保証を達成している。
• このアプローチでは、過剰母集団損失を、最適な非プライベートレートと、プライベートアルゴリズムの最適な過剰経験損失の両者と関連づけている。
• 安定性解析と既知のプライベート経験リスク最小化に関する結果を組み合わせることで、最適な母集団損失レートのタイトな特徴付けを導出している。
• 最適な過剰母集団損失が、2つの項の最大値に等しいことを示している：非プライベートの最適レートと、プライベート経験損失レート。
• 標準的な仮定の下で分析が行われている：凸かつリプシッツ連続な損失関数、分布からのi.i.d.サンプル。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを満たす確率的凸最適化における最適な過剰母集団損失レートは何か？
• RQ2 実用的な設定において、プライベートSCOは非プライベートSCOと同様に $1/\sqrt{n}$ の収束速度を有するか？
• RQ3 プライベートSCOの最適な過剰母集団損失は、プライベートアルゴリズムの最適な過剰経験損失とどのように比較できるか？
• RQ4 アルゴリズム的安定性は、プライベートSCOにおける一般化誤差をタイトに特徴付けるために使用できるか？
• RQ5 プライベートSCOと非プライベートSCOのレートの間に根本的なギャップがあるのか、それともプライベートアルゴリズムが同じ漸近的レートに達成できるのか？

主な発見

• 微分プライバシーを満たす確率的凸最適化における最適な過剰母集団損失は、対数要因を除いて、最適な非プライベート過剰母集団損失と、プライベートアルゴリズムの最適な過剰経験損失の最大値に等しい。
• プライベートSCOにおける過剰母集団損失レートは、非プライベートレート $1/\sqrt{n}$ と一致しており、長年の未解決問題が解消された。
• この結果は、標準的な $n$ サンプル設定において、プライベートSCOが非プライベートSCOより悪い漸近的レートを有しないことを示している。
• これまでに知られていたプライベートSCOの最良レートは $1/n^{1/4}$ であり、これは $1/\sqrt{n}$ より著しく遅い。
• 解析により、プライベートSCOと非プライベートSCOのレートのギャップは本質的ではなく、むしろ過去のアルゴリズム的および解析的制限の結果であることが示された。
• 本研究は、アルゴリズム的安定性がプライベートSCOにおけるタイトな一般化バウンディングを達成するのに十分であることを確立しており、最適レートの導出を可能にしている。