[論文レビュー] Differentially private inference via noisy optimization

Marco Avella-Medina, Casey Bradshaw+1 more|arXiv (Cornell University)|Mar 19, 2021

Statistical Methods and Inference被引用数 7

ひとこと要約

本稿は、局所的強い凸性または自己調和性の下で、グローバル収束保証を伴う、ノイズ付き勾配降下法およびノイズ付きニュートン法を用いた、差分プライバシーを満たす最適化フレームワークを提案する。この手法により、近似的にミニマックス最適な推定が達成され、プライベートな分散推定を用いた漸近的に有効な信頼領域の構築が可能となり、バイアス補正法により小標本における被覆確率が著しく向上する。

ABSTRACT

We propose a general optimization-based framework for computing differentially private M-estimators and a new method for constructing differentially private confidence regions. Firstly, we show that robust statistics can be used in conjunction with noisy gradient descent or noisy Newton methods in order to obtain optimal private estimators with global linear or quadratic convergence, respectively. We establish local and global convergence guarantees, under both local strong convexity and self-concordance, showing that our private estimators converge with high probability to a small neighborhood of the non-private M-estimators. Secondly, we tackle the problem of parametric inference by constructing differentially private estimators of the asymptotic variance of our private M-estimators. This naturally leads to approximate pivotal statistics for constructing confidence regions and conducting hypothesis testing. We demonstrate the effectiveness of a bias correction that leads to enhanced small-sample empirical performance in simulations. We illustrate the benefits of our methods in several numerical examples.

研究の動機と目的

• 差分プライバシーを保ちつつ統計的効率性を維持する一般化された最適化ベースの差分プライバシーM推定量のフレームワークを構築すること。
• 局所的強い凸性の下で、ノイズ付き勾配降下法のグローバル有限標本収束を確立し、近似的に最適な近傍への線形収束を達成すること。
• 勾配とヘッセ行列の両方にノイズを注入することで差分プライバシーを満たす、ニュートン法の新しい提案。同様の条件下で2次収束を達成し、バックトラッキングを回避する固定減衰ステップを用いる。
• スイッチング型分散推定式を用いたプライベートな漸近分散推定量を構築し、差分プライバシー下での漸近的に有効な信頼領域を実現すること。
• 小標本における被覆確率の向上を目的として、信頼領域の被覆確率を改善する新しいバイアス補正法の導入

提案手法

• 各反復に差分プライバシーを確保するノイズを追加したノイズ付き勾配降下法を用い、勾配クリッピングの問題を回避するため、頑健なM推定量を活用する。
• 各反復で勾配とヘッセ行列の両方にノイズを注入することで、差分プライバシーを満たしつつ収束性を維持するノイズ付きニュートンステップを適用する。
• 2段階戦略を採用：解から離れている間は固定ステップサイズη < 1の減衰ニュートンステップを用い、検証可能な条件を満たした時点で純粋なニュートン法（η = 1）に移行する。
• スイッチング型分散推定式に行列値ノイズ機構を適用し、分散の両成分のプライバシーを保証するプライベートな信頼領域を構築する。
• 小標本における被覆確率の向上を目的として、プライベート分散推定量に対するバイアス補正を導入する。
• μ-GDP（ガウス差分プライバシー）を用いてプライバシーの調整を行い、局所的強い凸性または自己調和性の仮定により収束性を保証する。

Figure 1: Noisy gradient descent trajectories for linear regression. (a) Estimates of a single coordinate of the regression vector. (b) Gradient of the loss function evaluated at the current iterate, plotted on a log scale.

実験結果

リサーチクエスチョン

• RQ1 頑健なM推定量を用いたノイズ付き勾配降下法は、差分プライバシー下で、局所的強い凸性のもとでグローバル線形収束と近似的にミニマックス最適性を達成できるか？
• RQ2 勾配とヘッセ行列の両方にノイズを注入する差分プライバシーを満たすニュートン法は、2次収束を達成し、勾配降下法よりも優れた性能を示すか？
• RQ3 差分プライバシー下で、漸近分散のプライベート推定量を構築することで、漸近的に有効な信頼領域を実現できるか？
• RQ4 提案されたバイアス補正法は、小標本におけるプライベート信頼区間の実効被覆確率をどのように向上させるか？
• RQ5 差分プライバシー下で、頑健なM推定量は勾配クリッピングや目的関数の摂動と比較して、推定誤差とバイアスの点で優れているか？

主な発見

• 局所的強い凸性のもとで、頑健なM推定量を用いたノイズ付き勾配降下法は、非プライベートなM推定量の近傍へのグローバル線形収束を高確率で達成する。
• 局所的強い凸性または自己調和性のもとで、ノイズ付きニュートン法は近似的に最適な解への2次収束を達成し、初期値が最適解から離れている場合にノイズ付き勾配降下法を上回る性能を示す。
• プライベートなスイッチング型分散推定式を用いた信頼領域構築法は漸近的に有効であり、バイアス補正により小標本における被覆確率が顕著に向上する。
• シミュレーションでは、ノイズ付き勾配降下法に頑健な重みを適用した手法が、境界付きデータ領域では目的関数の摂動や勾配クリッピングを上回り、特にクリッピングが最小限の状況で顕著な優位性を示す。
• 非境界付きデータ設定では、ノイズ付き勾配降下法に頑健な重みを適用した手法と、マローズ重みを用いた目的関数の摂動が同等の性能を示すが、勾配クリッピングは顕著なバイアスを生じる。
• バイアス補正法は、特に低標本領域において、信頼区間の実効被覆確率を顕著に向上させるが、プライバシー保証には影響を与えない。

Figure 2: (a) Noisy Newton’s method vs. gradient descent. The vertical axis records the norm of the gradient trajectory on a log scale. (b) Divergence of noisy damped Newton. When $\eta=1$ (pure Newton), the algorithm may not converge if the initial point is far from the global optimum $\hat{\theta}