[論文レビュー] High Dimensional Differentially Private Stochastic Optimization with Heavy-tailed Data

Lijie Hu, Shuo Ni+2 more|arXiv (Cornell University)|Jul 23, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、高次元空間における重たい尾を持つデータを想定した、プライバシー保護付き確率的凸最適化（DP-SCO）の最初の包括的研究を提示する。重たい尾を持つ勾配を管理し、微分プライバシーを保証するための勾配截断を用いたDP-IHTの変種を提案し、データ分布にやや強いモーメント条件を課した場合に、$ ilde{O}(\frac{\log d}{(n\epsilon)^{1/3}})$ の過剰リスクバウンドを$ϵ$-DPのもとで達成する。また、スパース学習では、$ ilde{O}(\frac{s^{*2}\log^2 d}{n\epsilon})$ の過剰リスクバウンドを$(\epsilon,\delta)$-DPのもとで達成する。

ABSTRACT

As one of the most fundamental problems in machine learning, statistics and differential privacy, Differentially Private Stochastic Convex Optimization (DP-SCO) has been extensively studied in recent years. However, most of the previous work can only handle either regular data distribution or irregular data in the low dimensional space case. To better understand the challenges arising from irregular data distribution, in this paper we provide the first study on the problem of DP-SCO with heavy-tailed data in the high dimensional space. In the first part we focus on the problem over some polytope constraint (such as the $\ell_1$-norm ball). We show that if the loss function is smooth and its gradient has bounded second order moment, it is possible to get a (high probability) error bound (excess population risk) of $ ilde{O}(\frac{\log d}{(nε)^\frac{1}{3}})$ in the $ε$-DP model, where $n$ is the sample size and $d$ is the dimensionality of the underlying space. Next, for LASSO, if the data distribution that has bounded fourth-order moments, we improve the bound to $ ilde{O}(\frac{\log d}{(nε)^\frac{2}{5}})$ in the $(ε, δ)$-DP model. In the second part of the paper, we study sparse learning with heavy-tailed data. We first revisit the sparse linear model and propose a truncated DP-IHT method whose output could achieve an error of $ ilde{O}(\frac{s^{*2}\log d}{nε})$, where $s^*$ is the sparsity of the underlying parameter. Then we study a more general problem over the sparsity ({\em i.e.,} $\ell_0$-norm) constraint, and show that it is possible to achieve an error of $ ilde{O}(\frac{s^{*\frac{3}{2}}\log d}{nε})$, which is also near optimal up to a factor of $ ilde{O}{(\sqrt{s^*})}$, if the loss function is smooth and strongly convex.

研究の動機と目的

• 高次元設定下でデータ分布が重たい尾を持つ場合の、プライバシー保護付き確率的凸最適化（DP-SCO）に対する理論的理解の不足を解消すること。
• 重たい尾を持つデータから生じる無限大の勾配に対しても耐性を持つ、プライベートかつロバストな最適化手法を開発すること。これは、標準的なリプシッツ条件を満たさない。
• サブガウス型または有界性仮定ではなく、モーメント条件（例：2次または4次モーメントが有界）のみを仮定した場合に、ポリトープおよびスパarsity制約下でのDP-SCOの過剰母集団リスクバウンドを確立すること。
• スパースな高次元設定下で、プライバシーを保ちながら収束性を維持できる、勾配截断を施したDP-イテレーティブハードスレッディング（DP-IHT）手法を設計すること。

提案手法

• 勾配截断を用いて勾配の感度を制御し、リプシッツ条件を満たさない重たい尾を持つ勾配に対しても、ラプラスメカニズムを適用可能なようにし、微分プライバシーを保証する。
• 強い凸性、滑らかさ、およびモーメント条件を組み合わせた、新しい解析フレームワークを導入し、高確率での過剰リスクバウンドを導出する。
• 導出されたバウンドの近似的最適性を示すために、新しいハードインスタンス構築法を提案する。これは、対数的要因および$\sqrt{s^*}$要因の範囲で近似的に最適であることを示す。
• 2段階の解析を採用する：まず、強い凸性と滑らかさを用いて反復毎の誤差バウンドを導出する。次に、反復間で幾何級数的減少を示し、総誤差をバウンドする。
• ラプラスノイズの集中不等式および尾部バウンドを用いて、特に高次元かつスパースな設定下で、プライベートノイズの収束への影響を制御する。

実験結果

リサーチクエスチョン

• RQ1 高次元空間における重たい尾を持つデータを想定した場合、プライバシー保護付き確率的凸最適化（DP-SCO）の根本的統計的限界は何か？
• RQ2 重たい尾を持つデータ分布が原因で生じる無限大の勾配に耐性を持つ、プライベートな最適化アルゴリズムを設計できるか？
• RQ3 $\epsilon$-DPおよび$(\epsilon,\delta)$-DPのもとで、ポリトープおよびスパarsity制約下の重たい尾を持つデータを想定したDP-SCOにおける過剰リスクバウンドは、どのようなものか？
• RQ4 真のパラメータのスパarsity（$s^*$）は、高次元DP-SCOにおける収束速度およびプライバシーと性能のトレードオフにどのように影響を与えるか？

主な発見

• ポリトープ制約下のDP-SCOにおいて、滑らかさと勾配の2次モーメントが有界であると仮定した場合、$\epsilon$-DPモデルのもとで、高確率で過剰リスクは$\tilde{O}(\frac{\log d}{(n\epsilon)^{1/3}})$ に抑えられる。
• 4次モーメントが有界なLASSOにおいては、$(\epsilon,\delta)$-DPモデルのもとで、過剰リスクは$\tilde{O}(\frac{\log d}{(n\epsilon)^{2/5}})$ に改善される。
• スパース線形回帰において、提案された勾配截断DP-IHT手法は、$(\epsilon,\delta)$-DPのもとで、過剰リスク$\tilde{O}(\frac{s^{*2}\log^2 d}{n\epsilon})$ を達成する。
• 一般の滑らかで強い凸性を満たすDP-SCOにおいて、$\ell_0$-ノルムのスパarsity制約がある場合、過剰リスクは$\tilde{O}(\frac{s^{*3/2}\log d}{n\epsilon})$ であり、$\tilde{O}(\sqrt{s^*})$ 要因の範囲で近似的に最適である。
• 合成データおよび実世界のデータセットを用いた実験により、理論的バウンドが重たい尾を持つデータ下でも一貫した性能を示すことが確認された。
• 本稿は、サブガウス型や有界性仮定ではなく、モーメントに基づく仮定（例：2次または4次モーメントが有界）が、重たい尾を持つデータに対するプライベート学習に十分であることを確立した。