[論文レビュー] Smooth Sensitivity Based Approach for Differentially Private Principal Component Analysis

Ran Gilad-Bachrach, Alon Gonen|arXiv (Cornell University)|Oct 29, 2017

Privacy-Preserving Technologies in Data参考文献 23被引用数 3

ひとこと要約

本稿では、固有値ギャップに基づいてノイズを制御する滑らかさ感受性を用いた出力摂動を用いて、計算的に効率的な微分プライバシーPCAの後処理手法を提案する。固有値ギャップ仮定の下で近似的に最適な標本複雑性を達成し、精度損失を最小限に抑えつつスパarsityを維持し、既存のPCA実装と互換性を持つ。

ABSTRACT

Currently known methods for this task either employ the computationally intensive \emph{exponential mechanism} or require an access to the covariance matrix, and therefore fail to utilize potential sparsity of the data. The problem of designing simpler and more efficient methods for this task has been raised as an open problem in \cite{kapralov2013differentially}. In this paper we address this problem by employing the output perturbation mechanism. Despite being arguably the simplest and most straightforward technique, it has been overlooked due to the large \emph{global sensitivity} associated with publishing the leading eigenvector. We tackle this issue by adopting a \emph{smooth sensitivity} based approach, which allows us to establish differential privacy (in a worst-case manner) and near-optimal sample complexity results under eigengap assumption. We consider both the pure and the approximate notions of differential privacy, and demonstrate a tradeoff between privacy level and sample complexity. We conclude by suggesting how our results can be extended to related problems.

研究の動機と目的

• 完全な共分散行列へのアクセスを必要としない、効率的で微分プライバシーを満たすPCA手法の設計という未解決問題に取り組む。
• PCAの主固有ベクトルの高いグローバル感受性が、単純な出力摂動の使用を阻害しているという問題を克服する。
• 純粋および近似的な微分プライバシーを保証しながら、実用性と効率性を維持する手法を開発する。
• スパarsityを活用する既存のPCAソルバとの互換性を確保するため、ノイズを後処理ステップとして適用する。

提案手法

• 標準的なPCA計算の後、出力ベクトルにノイズを追加することで出力摂動を適用する。
• 主固有ベクトルの入力変更に対する感受性を抑え、よりタイトなノイズキャリブレーションを可能にするために滑らかさ感受性を用いる。
• ノイズの大きさは、経験的共分散行列のk番目と(k+1)番目の固有値の間の固有値ギャップによって決定される。
• 純粋なDPのため、滑らかさ感受性に基づくスケールから導かれるラプラスノイズを追加する。
• 近似的なDPのため、固有値ギャップと信頼度パラメータに依存するスケールのガウスノイズを用いる。
• 秘密情報の漏洩を防ぐために、符号のアンビギュイティを解消するための対称性打破機構を導入する。

実験結果

リサーチクエスチョン

• RQ1 主固有ベクトルの高いグローバル感受性にもかかわらず、出力摂動が微分プライバシーPCAに有効に使えるか？
• RQ2 滑らかさ感受性を活用することで、最小限の標本複雑性で微分プライバシーを達成できるか？
• RQ3 固有値ギャップ仮定の下で、プライバシー水準（ε）と標本複雑性のトレードオフはいかなるものか？
• RQ4 提案手法はスパarsityを維持でき、既存のPCA実装にコード変更なしに統合可能か？
• RQ5 PCAの解における対称性（例：符号のアンビギュイティ）は、どのように解消すれば、秘密情報の漏洩を防げるか？

主な発見

• 固有値ギャップ仮定の下で、純粋な微分プライバシーを達成し、標本複雑性がO(1/(ε_gap * ε_g))である。
• 近似的なDPの場合は、高確率で標本複雑性がO((d + log(1/δ)) / (ε_gap * ε_p))である。
• 同じ固有値ギャップ条件下で、誤差がε_gで有界であり、近似的に最適な精度を維持する。
• ノイズのスケールは固有値ギャップに反比例するため、ギャップが大きいほどノイズが小さくなり、より高い実用性が得られる。
• スパースデータと互換性があり、任意のPCA実装に対して後処理として適用可能である。
• 符号のアンビギュイティ問題を解消し、それによって生じる秘密情報の漏洩を防げる。