[論文レビュー] Functional Mechanism: Regression Analysis under Differential Privacy

Jun Zhang, Zhenjie Zhang+3 more|arXiv (Cornell University)|Aug 1, 2012

Privacy-Preserving Technologies in Data参考文献 27被引用数 60

ひとこと要約

本論文は、出力ではなく最適化の目的関数にノイズを直接注入する、新しい微分プライバシー手法である機能的メカニズム（FM）を提案する。目的関数を摂動し、その結果得られるノイズ付き最適化問題を解くことで、特に低プライバシー予算または高次元データ下で、従来の手法よりも顕著に高い精度と効率性を達成する。合成データに基づく手法（FP や DPME など）よりも、精度と速度の両面で優れている。

ABSTRACT

ε-differential privacy is the state-of-the-art model for releasing sensitive information while protecting privacy. Numerous methods have been proposed to enforce epsilon-differential privacy in various analytical tasks, e.g., regression analysis. Existing solutions for regression analysis, however, are either limited to non-standard types of regression or unable to produce accurate regression results. Motivated by this, we propose the Functional Mechanism, a differentially private method designed for a large class of optimization-based analyses. The main idea is to enforce epsilon-differential privacy by perturbing the objective function of the optimization problem, rather than its results. As case studies, we apply the functional mechanism to address two most widely used regression models, namely, linear regression and logistic regression. Both theoretical analysis and thorough experimental evaluations show that the functional mechanism is highly effective and efficient, and it significantly outperforms existing solutions.

研究の動機と目的

• 線形回帰やロジスティック回帰などの標準的な回帰モデルと併用可能な、正確で効率的な微分プライバシー回帰手法の不足を解消すること。
• 従来の手法の制限を克服すること。これらは合成データ生成に依存している（高ノイズで精度が低い）か、非標準の回帰タイプに限定されている。
• 最適化問題の出力ではなく、目的関数自体を摂動することで、ϵ-微分プライバシーを強制する汎用フレームワークの開発。
• 摂動された最適化問題が、高い精度の回帰結果をもたらすとともに、強力なプライバシー保証を維持すること。

提案手法

• 機能的メカニズムは、最終的な回帰係数を摂動するのではなく、多項式係数にノイズを加えることで、回帰最適化問題の目的関数を摂動する。
• 線形回帰の場合、目的関数が二次関数であるため、標準的な凸最適化ソルバーを用いて効率的に解ける。
• 非多項式の目的関数を持つロジスティック回帰の場合、目的関数を有限多項式として近似するために、切り捨てられたテイラー展開を用いる。
• ノイズのスケーリングは感度解析を用いて行われ、ϵ-微分プライバシーを保証する。ノイズの大きさは、摂動された目的関数のL2感度から導出される。
• 合成データ生成を回避することで、計算オーバーヘッドを低減し、モデルの精度を維持する。
• 得られた最適化問題は、標準的なソルバー（例：MATLABの最適化ツールボックス）を用いて解かれるため、効率性とスケーラビリティが保証される。

実験結果

リサーチクエスチョン

• RQ1 回帰最適化問題の目的関数を摂動することで、出力係数を摂動する従来の微分プライバシー回帰手法よりも、より高い精度が達成可能か？
• RQ2 さまざまなプライバシー予算とデータ次元下で、FM は合成データベースの手法（FP や DPME）と比べて、精度と効率性においてどのように異なるか？
• RQ3 ロジスティック回帰の目的関数のテイラー展開を切り捨てる影響が、得られる微分プライバシー回帰モデルの精度に与える影響は？
• RQ4 FM の計算時間は、データセットのサイズと次元数が増加するにつれて、従来の手法と比べてどのように変化するか？
• RQ5 FM が非プライベート回帰（NoPrivacy）と同等の精度を達成する条件は何か？

主な発見

• FM は、テストされたすべてのデータセットとプライバシー予算において、従来手法（FP や DPME）と比較して、平均二乗誤差（MSE）の観点で顕著に優れている。
• US-Linear および Brazil-Linear データセットでは、ϵ = 0.1 の条件下で、FM は FP や DPME と比較して最大50%低い平均二乗誤差を達成した。
• ロジスティック回帰において、FM はブラジルデータセットで ϵ = 0.1 の条件下で、DPME よりも誤分類率を最大40%低減した。
• FM の計算時間は、データ次元数に線形に比例し、合成データ生成に起因する追加のオーバーヘッドを伴わないため、FP や DPME よりも常に低かった。
• ϵ の変更がデータセットサイズや最適化の複雑さに影響しないため、FM の実行時間はプライバシー予算 ϵ の変更に対してほとんど感度を示さない。
• 高次元設定下では、FM の精度的優位性がさらに顕著になり、ϵ ≥ 1.6 の条件下では、NoPrivacy の性能に近づく傾向を示した。