[論文レビュー] An Analysis of the Deployment of Models Trained on Private Tabular Synthetic Data: Unexpected Surprises

Mayana Pereira, Meghana Kshirsagar+3 more|arXiv (Cornell University)|Jun 15, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用数 4

ひとこと要約

この論文は、微分プライバシー（DP）を適用した合成テーブルデータが機械学習モデルの有用性および公平性に与える影響を調査している。高いプライバシーを確保することでモデルの有用性が低下することは示されたが、偏りが一貫して増加するわけではない。特に、合成データ上で訓練および評価されたモデルは、実データ上で顕著に性能が低下する傾向にあり、特に公平性指標において顕著である。これは、テストプロトコルにおける重要なギャップを示している。

ABSTRACT

Diferentially private (DP) synthetic datasets are a powerful approach for training machine learning models while respecting the privacy of individual data providers. The effect of DP on the fairness of the resulting trained models is not yet well understood. In this contribution, we systematically study the effects of differentially private synthetic data generation on classification. We analyze disparities in model utility and bias caused by the synthetic dataset, measured through algorithmic fairness metrics. Our first set of results show that although there seems to be a clear negative correlation between privacy and utility (the more private, the less accurate) across all data synthesizers we evaluated, more privacy does not necessarily imply more bias. Additionally, we assess the effects of utilizing synthetic datasets for model training and model evaluation. We show that results obtained on synthetic data can misestimate the actual model performance when it is deployed on real data. We hence advocate on the need for defining proper testing protocols in scenarios where differentially private synthetic datasets are utilized for model training and evaluation.

研究の動機と目的

• 微分プライバシーを適用した合成データが、テーブル機械学習におけるモデルの有用性および公平性に与える影響を調査すること。
• 実際の展開時における、合成データ上でのモデル性能と実データ上での性能の乖離を評価すること。
• プライバシー保証を強化することで、下流のモデルに偏りが増すかどうかを評価すること。
• プライバシーを確保しつつも公平性を維持する合成データ生成手法を同定すること。
• モデルの訓練および評価に合成データを使用する際の、見直されたテストプロトコルの提言

提案手法

• 著者らは、PrivBayes、QUAIL+CTGAN、QUAIL+PATECTGAN、およびその他の合成生成器を用いて生成された微分プライバシーを適用した合成データと、実データの両方で分類モデルを訓練した。
• AUC、真正陽性率（TPR）、陽性予測値（PPV）といった標準的な指標を用いてモデル性能を評価し、合成データおよび実データのテストセット間で結果を比較した。
• プライバシーと有用性のトレードオフを制御するため、ε（エプシロン）値を0.1および10として微分プライバシーを適用した。
• 公平性は、代表されないグループと大多数のグループとの間で性能の差を測定することで評価した。
• 一般化の検証のため、Adult、COMPAS、Fair COMPASの3つのベンチマークデータセットを用いた。
• 評価時（合成データ上）と展開時（実データ上）のモデル性能を比較し、性能のずれ（ドリフト）を特定した。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを適用した合成データにおけるプライバシー予算（ε）を増加させると、モデルの有用性および公平性にどのような影響を与えるか？
• RQ2 合成データ生成における高いプライバシーが、下流の分類モデルにおける偏りを増大させるか？
• RQ3 合成データ上でのモデル性能指標が、実世界のデータ上での性能とどの程度相関しているか？
• RQ4 異なる合成データ生成フレームワーク（例：PrivBayes 対 QUAIL）が、公平性の結果にどのように影響を与えるか？
• RQ5 合成データのみで訓練および評価されたモデルが、実世界の公平性および有用性を信頼できる精度で予測できるか？

主な発見

• 微分プライバシーを適用した合成データ上で訓練されたモデルは、プライバシーが高まる（εが小さくなる）につれて、一貫して有用性が低下することが確認された。これは、プライバシーと有用性のトレードオフを裏付けるものである。
• 有用性が低下しても、高いプライバシーが必ずしも偏りの増加を意味するわけではない。公平性の結果は合成生成器に依存する。
• PrivBayesで生成された合成データでは、実データ上でのAUCが合成テストデータ上でのAUCを上回ることが多く、実世界での性能が予想以上に良好であることを示している。
• 一方、QUAIL+CTGANおよびQUAIL+PATECTGANで生成された合成データ上で訓練されたモデルは、評価時から展開時にかけて、特にεが低い値のとき、有用性および公平性が一貫して低下した。
• TPRやPPVといった公平性指標は、大多数の合成生成器において、評価時から展開時にかけて顕著に悪化した。これは、合成データが実世界の偏りを低く見積もっていることを示している。
• すべての合成生成器において、有用性や公平性の性能に一貫したパターンは認められず、QUAIL+PATECTGANはデータセットやε値に応じて結果が混合する傾向にあった。