[論文レビュー] Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data

Gautam Kamath, Xingtu Liu+1 more|arXiv (Cornell University)|Jun 2, 2021

Privacy-Preserving Technologies in Data参考文献 42被引用数 13

ひとこと要約

本稿では、勾配がリプシッツでないがk階モーメントが有界であるような重たい尾を持つデータに対する、より優れた微分プライバシー付き確率的凸最適化（DP-SCO）アルゴリズムを提示する。集中型微分プライバシー（CDP）下で、新たなプライベート平均推定技術を導入することで、特に高次元かつ非リプシッツな設定において、先行研究に比べてきめ細やかな超過リスクバウンドを達成する。

ABSTRACT

We study stochastic convex optimization with heavy-tailed data under the constraint of differential privacy (DP). Most prior work on this problem is restricted to the case where the loss function is Lipschitz. Instead, as introduced by Wang, Xiao, Devadas, and Xu \cite{WangXDX20}, we study general convex loss functions with the assumption that the distribution of gradients has bounded $k$-th moments. We provide improved upper bounds on the excess population risk under concentrated DP for convex and strongly convex loss functions. Along the way, we derive new algorithms for private mean estimation of heavy-tailed distributions, under both pure and concentrated DP. Finally, we prove nearly-matching lower bounds for private stochastic convex optimization with strongly convex losses and mean estimation, showing new separations between pure and concentrated DP.

研究の動機と目的

• 損失関数に強いリプシッツ仮定を必要とする従来の微分プライバシー付き確率的凸最適化（DP-SCO）手法の限界を解消すること。
• 勾配のk階モーメントが有界である場合に効率的なDP-SCOアルゴリズムを開発し、ヒューリスティックなクリッピングなしで重たい尾を持つデータの解析を可能にすること。
• 集中型微分プライバシー（CDP）下での凸および強い凸損失関数に対して、超過リスクバウンドの改善を図ること。
• 平均推定およびSCOの文脈において、純粋DPと集中型DPの間の新たな分離を明らかにする、ほぼ一致する下界を確立すること。
• 純粋DPおよび集中型DPの両方の下で、k階モーメントが有界な分布に対する新しいプライベート平均推定アルゴリズムを設計し、主結果のコアなプリミティブとする。

提案手法

• 集中型DP下でk階モーメントが有界な分布に対する、新たなプライベート平均推定アルゴリズムを提案。ノイズ注入とレジリエント推定技術を用いる。
• 勾配の感度をモーメントに基づくバウンドで制御することで、重たい尾を持つ勾配に適応する微分プライバシー付き確率的勾配降下法（DP-SGD）の変種を導入。
• 被覆論法と集中不等式を用いて、重たい尾を持つ勾配が存在する状況での推定誤差をバウンドする。
• 繰り返し最適化における勾配ノイズが引き起こすバイアスを制御するために、アズマの不等式をマルティンゲール差分列に適用。
• 誤差を統計的誤差、近似誤差、プライバシー由来誤差に分解し、それぞれをモーメントおよび集中性の性質を用いてバウンドすることで、超過リスクバウンドを導出。
• リスクバウンドにおける非プライベートコストとプライベートコストのバランスを、パラメータqを介して調整し、標本サイズとプライバシー予算のトレードオフを最適化。

実験結果

リサーチクエスチョン

• RQ1 損失関数がリプシッツでないが勾配のk階モーメントが有界である場合、微分プライバシー付き確率的凸最適化でより良い超過リスクバウンドを達成できるか？
• RQ2 重たい尾を持つ分布に対するプライベート平均推定アルゴリズムは、高次元設定におけるDP-SCOの実用性をどのように向上させるか？
• RQ3 集中型微分プライバシー下でのプライベート平均推定およびDP-SCOの根本的限界は何か？また、純粋DPとはどのように異なるか？
• RQ4 勾配が重たい尾を持つ場合、集中型DP下で強い凸損失に対して、よりきめ細やかな超過リスクバウンドを達成できるか？
• RQ5 モーメント条件の下で、平均推定および最適化におけるプライバシーと実用性の観点から、純粋DPと集中型DPの間にはどのような新たな分離が存在するか？

主な発見

• ε²-集中型DP下での凸損失に対して、超過リスクバウンドが Õ(min{d/√n + d²/(εn)·(εn/d³ᐟ²)¹ᐟᵏ, min_{0.5≤q≤2} (d^{(3−q)/2}/√n + d^{(1+q)/2}/(ε^{1/2}√n))}) であることを達成。
• 強い凸損失に対しては、超過リスクが Õ(d/n + d·(√d/(εn))^{2(k−1)/k}) でバウンドされ、モーメント仮定のもとで先行研究を上回る。
• 提案されたプライベート平均推定アルゴリズムは、純粋DPおよび集中型DPの両方で、k階モーメントが有界な分布に対して最適またはほぼ最適の誤差率を達成。
• 著者らは、プライベート平均推定および強い凸DP-SCOに対してほぼ一致する下界を証明し、純粋DPと集中型DPの間の明確な分離を示した。
• 結果として、勾配が重たい尾を持つ場合、集中型DPは純粋DPよりも著しく優れた超過リスクレートを実現でき、特に高次元において顕著である。
• 分析により、DP-SCOにおけるプライバシーと実用性のトレードオフは、勾配の有界性だけでなく、その尾の挙動に強く依存することが明らかになった。