[論文レビュー] FFPDG: Fast, Fair and Private Data Generation

Weijie Xu, Jinjin Zhao+2 more|arXiv (Cornell University)|Jun 30, 2023

Privacy-Preserving Technologies in Data参考文献 22被引用数 5

ひとこと要約

FFPDGは、一連の効率的なパイプラインで公平性正則化と微分プライバシーを統合する、高速で公平かつプライベートなデータ生成手法を提案する。ノイズ注入の前段階でFairMaxEntを適用してバイアス低減を行うことで、高いモデル性能（AUCROC >0.75）、低いプライバシー危険度（LRD ≈ 0.1）、最小限の公平性格差（DSP < 0.11）を達成し、GANベースの手法よりも高速（1秒対数分）である。

ABSTRACT

Generative modeling has been used frequently in synthetic data generation. Fairness and privacy are two big concerns for synthetic data. Although Recent GAN [\cite{goodfellow2014generative}] based methods show good results in preserving privacy, the generated data may be more biased. At the same time, these methods require high computation resources. In this work, we design a fast, fair, flexible and private data generation method. We show the effectiveness of our method theoretically and empirically. We show that models trained on data generated by the proposed method can perform well (in inference stage) on real application scenarios.

研究の動機と目的

• 合成データ生成における公平性とプライバシーの二重的課題に取り組む。
• 実世界のデータにおけるモデル性能を保持するとともに、メンバーシップ推定攻撃に耐性を持つ手法を設計する。
• 既存のGANベースのプライベートデータ生成技術よりも効率性を向上させる。
• プライバシー注入の前段階で事前処理による公平性の向上が、より優れた公平性および一般化性能をもたらすことを示す。
• 医療、金融、ロボット分野における機微なデータセットに対するスケーラブルで柔軟な合成データ生成を可能にする。

提案手法

• FFPDGは、公平性正則化（FairMaxEnt）と微分プライバシー（DP）を統合した一貫したパイプラインを統合する。
• ノイズ注入の前段階でFairMaxEntを適用し、特徴空間を投影・再重み付けすることでバイアスを低減する。
• データ正規化およびガウスモデリング段階でノイズを追加することで、微分プライバシーを確保する。
• 次元削減にはランダム正規直交射影を用い、Diaconis-Freedman-Meckes効果を活用して近似的なガウス性を達成する。
• GAN学習を回避する非敵対的で閉形式の生成モデルを、射影された特徴分布に基づいて採用する。
• 後処理として連続特徴のキャップ処理とカテゴリカルへの再変換を実施し、プライバシーと公平性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 プライバシー注入の前段階で公平性を事前処理することで、後処理よりも優れた公平性および一般化性能が得られるか？
• RQ2 GAN非依存の手法が、顕著に短い学習時間でDP-GANと同等または優れたプライバシーおよび公平性指標を達成できるか？
• RQ3 FairMaxEntと微分プライバシーの組み合わせが、実世界のデータセットにおけるモデル性能に与える影響は何か？
• RQ4 高次元およびカテゴリカル特徴が、生成データの公平性およびプライバシーに与える影響は何か？
• RQ5 大規模で複雑なデータセットに対しても、プライバシーや公平性指標の著しい劣化を伴わずにスケーラブルに拡張可能か？

主な発見

• FFPDGはAdultデータセットでAUCROC 0.75、COMPASで0.62を達成し、実データにおける強力な予測能力を示している。
• FFPDGはAdultでDSP 0.07、COMPASで0.11まで公平性格差（DSP）を低減し、他の手法を上回っている。
• FFPDGは1秒でデータ生成が可能で、DP-WGAN（36秒）やPATE-GAN（29分）よりも顕著に高速である。
• 低LDR（0.1）はメンバーシップ推定攻撃に対する強い耐性を示し、堅牢なプライバシーを裏付けている。
• プライバシー注入の前段階で公平性を事前処理することで、後処理より優れた公平性結果が得られ、COMPASではDSPが0.07（前処理）対0.22（後処理）となった。
• 高次元およびカテゴリカルデータでは、改善された後処理がなければ、予測可能性とプライバシーが低下するという限界が示された。