[論文レビュー] Revisiting differentially private linear regression: optimal and adaptive prediction & estimation in unbounded domain

Yu-Xiang Wang|arXiv (Cornell University)|Jan 1, 2018

Privacy-Preserving Technologies in Data参考文献 2被引用数 31

ひとこと要約

本稿では、AdaOPSおよびAdaSSPを提案する。これらは、データに依存する数量に基づいてノイズを動的にキャリブレーションする、適応的で微分プライバシーを満たす線形回帰アルゴリズムであり、手動でのハイパーパrameterチューニングを必要とせず、多様なデータセットでほぼ最適な性能を達成する。これらの手法は、シミュレーションおよび実世界のデータにおいて、既存の手法と比較してプライバシーと有効性のトレードオフを著しく改善し、UCIの36のデータセットすべてでベースラインを上回る性能を示した。

ABSTRACT

We revisit the problem of linear regression under a differential privacy constraint. By consolidating existing pieces in the literature, we clarify the correct dependence of the feature, label and coefficient domains in the optimization error and estimation error, hence revealing the delicate price of differential privacy in statistical estimation and statistical learning. Moreover, we propose simple modifications of two existing DP algorithms: (a) posterior sampling, (b) sufficient statistics perturbation, and show that they can be upgraded into **adaptive** algorithms that are able to exploit data-dependent quantities and behave nearly optimally **for every instance**. Extensive experiments are conducted on both simulated data and real data, which conclude that both AdaOPS and AdaSSP outperform the existing techniques on nearly all 36 data sets that we test on.

研究の動機と目的

• 微分プライバシーの線形回帰における理論的コストを明確化すること。具体的には、最適化誤差と推定誤差の依存関係を統合的に整理すること。
• 既存の2つの微分プライバシー（DP）アルゴリズム、One Posterior Sample（OPS）およびSufficient Statistics Perturbation（SSP）の適応的バージョンを考案し、データの特性に応じてノイズを自動的にチューニングすること。
• 実世界の回帰データセットの広範な範囲にわたり、適応的アルゴリズムであるAdaOPSおよびAdaSSPが非適応的および固定パラメータ手法を上回ることを実証的に検証すること。
• データドメインや最悪ケースの境界に関する事前知識が不要な、実用的でパラメータフリーの微分プライバシー線形回帰フレームワークを提供し、各インスタンスに対して最適またはほぼ最適な性能を達成すること。

提案手法

• One Posterior Sample（OPS）の適応的バージョンであるAdaOPSを提案。この手法は、局所リプシッツ定数と係数の大きさのデータ依存推定値を用いて、正則化パラメータλとノイズスケールγを自動的に選択する。
• Sufficient Statistics Perturbation（SSP）の適応的バージョンであるAdaSSPを導入。この手法は、データの経験的共分散とラベル分散に基づいて、ノイズレベルを動的に調整する。
• pDP（プライバシー分布）分析を用いて、最適解θ∗λにおける局所リプシッツ定数に依存する(ϵ, δ)-DP保証を導出。これにより、グローバルな境界に依存しない。
• 予測誤差の上界を最小化するように調整されたノイズ機構を採用。γとλは、推定誤差と最適化誤差の和を最小化するように選択される。
• 固定されたハイパーパラメータを避けるために、データ固有の統計量（例：∥X∥、∥Y∥、∥θ∗∥）を活用してλとγを適応的に設定する、新しいキャリブレーション戦略を提案。
• 2段階のノイズキャリブレーションを採用：まず、予測誤差の上界を最小化するようにλを決定し、次に、選択されたλに基づいて(ϵ, δ)-DPを満たすようにγを設定する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー下での線形回帰において、特徴量、ラベル、係数の定義域に依存する最適な最適化誤差と推定誤差の依存関係は何か？
• RQ2 既存の微分プライバシー線形回帰アルゴリズムを、手動でのハイパーパラメータチューニングを必要とせずに、データ依存量に適応させるにはどうすればよいか？
• RQ3 局所データ統計に基づく適応的ノイズキャリブレーションは、固定パラメータ手法と比較して、プライバシーと有効性のトレードオフを改善できるか？
• RQ4 AdaOPSやAdaSSPのような適応的アルゴリズムの理論的および実証的性能は、スケールや分布が異なる多様な実世界データセットにおいてどのように現れるか？
• RQ5 ノイズキャリブレーション戦略の選択（例：集中型対拡散型）は、微分プライバシー線形回帰の有効性にどのように影響するか？

主な発見

• AdaOPSおよびAdaSSPは、UCIレポジトリの36の実世界回帰データセットすべてで、11のベースライン手法を上回った。特に『バランス』戦略が最も優れた性能を示した。
• 『バランス』戦略を採用したAdaOPSは、予測誤差の上界がO(d^{1/3} n^{1/3} log(1/δ)^{1/3} ∥X∥^{4/3} ∥Y∥^{2/3} ∥θ∗∥^{4/3} / ϵ^{2/3})であることを示し、プライバシーと有効性のトレードオフにおいてほぼ最適性を達成した。
• 図5より、OPSにおける『集中』および『バランス』キャリブレーション戦略は、『拡散』および『慎重』アプローチを著しく上回る有効性を示した。
• 適応的アルゴリズムは、パrameter空間のグローバルな境界を必要とせず、最適解における局所リプシッツ定数に依存する(ϵ, δ)-微分プライバシーを達成した。
• 本手法により、研究者が最悪ケースのデータ仮定に基づいてプライバシーパラメータを設定する必要がなくなり、自動的かつインスタンス最適な性能が実現された。
• 実証的結果から、AdaSSPおよびAdaOPSが既存の手法を上回るプライバシーと有効性のトレードオフを達成しており、テストされた36のすべてのデータセットで一貫した改善が確認された。