[論文レビュー] Private Approximations of the 2nd-Moment Matrix Using Existing Techniques in Linear Regression

Or Sheffet|arXiv (Cornell University)|Jun 30, 2015

Privacy-Preserving Technologies in Data参考文献 26被引用数 18

ひとこと要約

本稿では、線形回帰における2次モーメント行列の近似に、従来の手法（例：Analyze Gauss）とは異なり正定値性を保証する、3つの異なるプライバシー保護型アルゴリズムを提案する。これらの手法は、既存の回帰フレームワークを活用しており、それぞれにリッジ回帰とジョンソン＝リンデンストローム変換、ワイシャールト分布による加法的ノイズ、逆ワイシャールト事前分布を用いたベイズ的後立分布サンプリングを組み合わせている。各手法は$(\epsilon,\delta)$-微分プライバシーを満たしつつ、理論的・実験的妥当性により高い実用性を示している。

ABSTRACT

We introduce three differentially-private algorithms that approximates the 2nd-moment matrix of the data. These algorithm, which in contrast to existing algorithms output positive-definite matrices, correspond to existing techniques in linear regression literature. Specifically, we discuss the following three techniques. (i) For Ridge Regression, we propose setting the regularization coefficient so that by approximating the solution using Johnson-Lindenstrauss transform we preserve privacy. (ii) We show that adding a small batch of random samples to our data preserves differential privacy. (iii) We show that sampling the 2nd-moment matrix from a Bayesian posterior inverse-Wishart distribution is differentially private provided the prior is set correctly. We also evaluate our techniques experimentally and compare them to the existing "Analyze Gauss" algorithm of Dwork et al.

研究の動機と目的

• 既存の微分プライバシー保護型線形回帰手法が、過剰なノイズ蓄積のため、複数の回帰問題に効率的にスケーリングできないという制限を解消すること。
• 2次モーメント行列の微分プライバシー保護型近似を設計し、正定値性を保証することで、カーネル法や統計的推論などの下流応用における問題を回避すること。
• 標準的な回帰手法—適切にパラメータ設定された場合—が、新たなアルゴリズム的設計を必要とせず、微分プライバシー保護型アルゴリズムを生成できることを示すこと。
• 提案手法を、正定値性の保証がないAnalyse Gaussアルゴリズムと、理論的および実験的に比較すること。

提案手法

• データにジョンソン＝リンデンストローム（JL）変換を適用し、正則化係数$ w $を設定して$(\epsilon,\delta)$-微分プライバシーを達成する。この手法は$\ell_2$-正則化によるリッジ回帰と関連づけられる。
• データ行列に小さなバッチのi.i.d.ガウスノイズを追加することで微分プライバシーを維持する。この摂動により、個々の寄与がマスキングされる。
• 逆ワイシャールト事前分布を用いて、2次モーメント行列のベイズ的後立分布からサンプリングする。事前分布のハイパーパrameterを調整することで微分プライバシーを保証する。
• 感度解析と集中不等式を用いてプライバシーを確立する。特に、ランダム行列理論（例：ウィグナーの半円則、カイ二乗分布の尾部バウンド）を用いて特異値やノルムを制限する。
• ウッドベリーの公式を用いて、真の逆グラム行列と摂動後の逆行列との差を分析し、回帰係数の誤差の境界を導出する。
• 推定回帰係数$\widehat{\bm{\beta}}$と$\widetilde{\bm{\beta}}$の高確率誤差境界を導出し、$\|\widehat{\bm{\beta}} - \widetilde{\bm{\beta}}\| \leq \frac{1}{C-1}\|\widehat{\bm{\beta}}\| + \text{低次の項}$が成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 適切にパラメータ設定された既存の線形回帰手法—正しく調整された場合—は、2次モーメント行列の微分プライバシー保護型近似を生成できるか？
• RQ2 微分プライバシーを保ちつつ、多くの下流応用に不可欠な正定値性を保証するには、どのようにすればよいか？
• RQ3 リッジ回帰と正則化を用いたJL変換と、加法的ワイシャールトノイズ、あるいはベイズ的事前分布の3つの手法の間で、回帰係数誤差という観点から、実用性のトレードオフはどのように異なるか？
• RQ4 正定値性の保証、プライバシー保証、および実験的性能の観点から、提案手法はAnalyze Gaussアルゴリズムと比べてどのように異なるか？

主な発見

• JL変換に基づく手法は、正則化パラメータ$ w $をデータの最小特異値に応じて設定することで、$(\epsilon,\delta)$-微分プライバシーを達成する。既存の境界から$\log r$要因を除去することで、より良い性能を実現する。
• データ行列に小さなi.i.d.ガウスサンプルを追加することで、微分プライバシーが保たれ、正定値な2次モーメント行列が得られる。集中測度を用いた境界により、実用性が保証される。
• 適切に選ばれた事前分布を用いた逆ワイシャールト後立分布からの2次モーメント行列のサンプリングは、微分プライバシーを満たす。誤差境界はウッドベリー恒等式とランダム行列理論を用いて導出される。
• 理論的解析により、推定回帰係数の誤差は$ \frac{1}{C-1}\|\widehat{\bm{\beta}}\| + \mathcal{O}(\sigma^2 \sqrt{kp \log(1/\nu)}) $で抑えられると示された。ここで$ C $はデータの特異値とノイズパラメータに依存する。
• 実験的評価により、3つの提案手法が、正定値錐への射影後も含めて、Analyze Gaussアルゴリズムを上回る回帰精度と正定値性を示した。
• 本稿では、微分プライバシーが、新規のアルゴリズム的設計を必要とせず、既存の回帰フレームワークにおけるパrameter調整のみで達成可能であることを示した。