[論文レビュー] Benefits and Pitfalls of the Exponential Mechanism with Applications to Hilbert Spaces and Functional PCA

Jordan Awan, Ana Kenney+2 more|arXiv (Cornell University)|Jan 30, 2019

Statistical Methods and Inference被引用数 10

ひとこと要約

本稿は、分離可能なヒルバート空間における関数データなどの無限次元出力空間に対して、ガウス過程を基本測度として用いることで、指数的機構を拡張する。機構の中心極限定理を確立し、プライバシーに起因するノイズが統計的推定誤差に対して漸近的に無視できないことを示すが、実データセット（バークレー成長研究およびDTIデータを含む）で検証された有効なε-DPによる関数的主成分分析（FPCA）のメカニズムを開発する。

ABSTRACT

The exponential mechanism is a fundamental tool of Differential Privacy (DP) due to its strong privacy guarantees and flexibility. We study its extension to settings with summaries based on infinite dimensional outputs such as with functional data analysis, shape analysis, and nonparametric statistics. We show that one can design the mechanism with respect to a specific base measure over the output space, such as a Guassian process. We provide a positive result that establishes a Central Limit Theorem for the exponential mechanism quite broadly. We also provide an apparent negative result, showing that the magnitude of the noise introduced for privacy is asymptotically non-negligible relative to the statistical estimation error. We develop an \ep-DP mechanism for functional principal component analysis, applicable in separable Hilbert spaces. We demonstrate its performance via simulations and applications to two datasets.

研究の動機と目的

• 関数データや非パラメトリック統計における無限次元出力空間への指数的機構の拡張を目的とする。
• 出力空間が分離可能なヒルバート空間である関数的設定において、プライバシーに起因するノイズが統計的推定精度に与える影響を調査すること。
• プライバシーと精度のトレードオフを保ちながら、有効なε-DPによる関数的主成分分析（FPCA）メカニズムを開発すること。
• 提案されたメカニズムの性能を、バークレー成長研究およびDTIデータを含む実世界の関数的データセット上で評価すること。
• ガウス過程の基本測度における共分散作用素（Σ）の選択が、プライバシーと精度のトレードオフに与える影響を理解すること。

提案手法

• 分離可能なヒルバート空間における経験的リスク最小化から導かれる効用関数を用いて、指数的機構を適用する。
• 出力空間上の基本測度としてガウス過程を採用し、プライバシーを確保するための確率密度を exp(ε/(2Δ) · ξ(b)) の比例関係で構築する。
• やや弱い正則性条件のもとで、プライベート推定値の漸近的分布を特徴付ける中心極限定理（CLT）を適用する。
• チャウドヒュリら（2013）のギブスサンプリング手順を、共分散作用素Σの固有関数を用いた正規直交基底展開により、関数的出力に適合させる。
• 滑らかな共分散カーネル（例：平方指数カーネル）を用い、m 個の固有値で99%の分散を捉えるように調整パrameter m を設定する。
• fda および refund R パッケージを用いてシミュレーションと実データ応用を実施し、分散比および部分空間ノルムの指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 関数データ解析におけるような無限次元出力空間に対して、指数的機構を意味的に拡張できるか？
• RQ2 プライバシーに起因するノイズと統計的推定誤差のトレードオフの観点から、指数的機構の漸近的挙動はいかなるものか？
• RQ3 特にガウス過程を基本測度として選択した場合、プライベートメカニズムの性能と有効性にどのような影響を与えるか？
• RQ4 提案されたε-DP FPCAメカニズムは、非プライベートFPCAと比較して、主成分をどの程度保持しているか？
• RQ5 実際の応用において、データのばらつきが微分プライベート関数的PCA手法の性能にどのように影響を与えるか？

主な発見

• 分離可能なヒルバート空間における指数的機構は、やや弱い正則性条件のもとで中心極限定理を満たし、プライベート推定値の漸近的正規性を示す。
• プライバシーに起因するノイズは、有限次元設定でさえも、統計的推定誤差に対して漸近的に無視できないことが判明し、DPメカニズムにおけるノイズが無視可能であるという仮定に疑問を呈する。
• バークレー成長データでは、ε=2で3つの成分を公開した際、非プライベートケースの0.98に比べ、合計分散の0.855を説明する結果を得た。
• DTIデータセットでは、ε=2で3つの成分に対して0.939の分散説明率を達成し、プライバシー制約のもとでも高い有効性を示した。
• メカニズムの性能は共分散作用素Σの選択に敏感であり、スケーリングは滑らかさに影響するが、微分の滑らかさの解釈には影響しない。
• 直感に反して、より高い内在的ばらつきを示すデータセット（例：DTI）で、本手法はより良好に機能する傾向がある。これは、性能評価が同程度のノイズレベルのもとでの非プライベート推定値と比較しているためであると考察される。