[論文レビュー] Faking feature importance: A cautionary tale on the use of differentially-private synthetic data

Oscar Giles, Kasra Hosseini+14 more|arXiv (Cornell University)|Mar 2, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本論文は、多様なデータセットにおいて、特徴量の重要度順序を正確に保持できるかどうか、微分プライバシーを適用した合成データが検証されている。PrivBayesと他のDP手法を用いて評価した結果、中程度から高いプライバシー保護（ε > 0.1）の下では、合成データが真の特徴量の重要度を再現できないことが多く、特に複雑な現実世界の設定では、類似度スコアが低くばらつきが大きいことが判明した。

ABSTRACT

Synthetic datasets are often presented as a silver-bullet solution to the problem of privacy-preserving data publishing. However, for many applications, synthetic data has been shown to have limited utility when used to train predictive models. One promising potential application of these data is in the exploratory phase of the machine learning workflow, which involves understanding, engineering and selecting features. This phase often involves considerable time, and depends on the availability of data. There would be substantial value in synthetic data that permitted these steps to be carried out while, for example, data access was being negotiated, or with fewer information governance restrictions. This paper presents an empirical analysis of the agreement between the feature importance obtained from raw and from synthetic data, on a range of artificially generated and real-world datasets (where feature importance represents how useful each feature is when predicting a the outcome). We employ two differentially-private methods to produce synthetic data, and apply various utility measures to quantify the agreement in feature importance as this varies with the level of privacy. Our results indicate that synthetic data can sometimes preserve several representations of the ranking of feature importance in simple settings but their performance is not consistent and depends upon a number of factors. Particular caution should be exercised in more nuanced real-world settings, where synthetic data can lead to differences in ranked feature importance that could alter key modelling decisions. This work has important implications for developing synthetic versions of highly sensitive data sets in fields such as finance and healthcare.

研究の動機と目的

• オリジナルデータセットからの特徴量の重要度の相対的順序が、微分プライバシーを適用した合成データによって保持されるかどうかを評価すること。
• 特に特徴量の設計と選択の段階において、合成データの実用性を評価すること。
• 合成データにおける特徴量の重要度再現の正確性に影響を与えるデータセットの特性を同定すること。
• プライバシーと実用性のトレードオフが信頼性に与える影響を評価し、ナイーブなベースラインと比較すること。
• 感受性の高い分野における探索的分析において、合成データを安全に使用する際の実用的ガイダンスを提供すること。

提案手法

• PrivBayesと別のDP手法を用いた2つの異なる微分プライバシーを適用した合成手法を用い、オリジナルデータと合成データの間での特徴量の重要度類似度を実証的に評価した。
• 順位相関（スピアマンのρ）とケンドールのτを含む複数の実用性指標を用いて、特徴量の重要度順序の一致度を定量化した。
• 構造や特徴量タイプが異なる5つの人工データセットと4つの実世界データセット（Adult、German Credit、Bank Marketing、医療関連データセット）を用いて評価した。
• 微分プライバシーの影響を評価するため、プライバシー予算εをさまざまな値に変化させた。
• 独立した列リサンプリングなどのベースライン比較を用いて、合成データ性能の下限を確立した。
• オリジナルデータと合成データの両方でモデルを学習させ、予測性能（AUC）を指標として用いて実用性を評価した。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを適用した合成データは、オリジナルデータと比較して、どの程度特徴量の重要度順序を保持できるか？
• RQ2 プライバシー予算εが、オリジナルデータと合成データの間の特徴量の重要度順序類似度にどのように影響するか？
• RQ3 多重共線性、特徴量タイプ（カテゴリカル対数値型）、階層的構造などの特定のデータセット特性が、特徴量の重要度再現の正確性を低下させるか？
• RQ4 独立した列リサンプリングなどのナイーブなベースラインと比較して、合成データの特徴量の重要度保持性能はどの程度か？
• RQ5 どのような状況下で、合成データが探索的機械学習タスクにおけるオリジナルデータの信頼できる代替手段となるか？

主な発見

• 中程度から高いプライバシー保護（ε > 0.1）の下では、合成データが正確な特徴量の重要度順序を保持できないことが多く、類似度スコアが低くばらつきが大きいことが判明した。
• 特にεが小さい場合、特徴量の重要度順序の平均類似度スコアは、すべてのデータセットで一貫して低く、再現性が乏しいことが示された。
• 多くの場合、特に構造が複雑な実世界データセットでは、独立した列リサンプリングなどのナイーブなベースラインよりも性能が劣った。
• 多重共線性が高く、または特徴量の重要度がほぼ均一なデータセットでは、特徴量の重要度再現性が最も著しく低下した。
• 特徴量が少なく、行数が多く、特徴量の重要度に明確な差があるデータセットでは、合成データがより良好に機能した。これは、構造の単純さが再現性を高める要因であることを示唆している。
• カテゴリカル特徴量を含むデータセットでは、数値特徴量を含むデータセットよりも特徴量の重要度がより正確に再現された。これは、現在のDP合成手法に方法論的バイアスがある可能性を示している。