[論文レビュー] Spending Privacy Budget Fairly and Wisely

Lucas Rosenblatt, Joshua E. Allen+1 more|arXiv (Cornell University)|Apr 27, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、特徴量の重要度に基づいてプライバシー予算を知的に割り当てるとともに、サブグループ間で公平に割り当てることで、予測精度を向上させ、差を低減する、微分プライバシーな合成データ生成のためのアンサンブル手法SuperQUAILを提案する。この手法は、中程度から高いプライバシー予算において、最先端の手法よりも高い全体的およびグループ別予測性能を達成しており、また、文化的背景にかかわらず誤診断率（FNR）の公平性を維持している。

ABSTRACT

Differentially private (DP) synthetic data generation is a practical method for improving access to data as a means to encourage productive partnerships. One issue inherent to DP is that the "privacy budget" is generally "spent" evenly across features in the data set. This leads to good statistical parity with the real data, but can undervalue the conditional probabilities and marginals that are critical for predictive quality of synthetic data. Further, loss of predictive quality may be non-uniform across the data set, with subsets that correspond to minority groups potentially suffering a higher loss. In this paper, we develop ensemble methods that distribute the privacy budget "wisely" to maximize predictive accuracy of models trained on DP data, and "fairly" to bound potential disparities in accuracy across groups and reduce inequality. Our methods are based on the insights that feature importance can inform how privacy budget is allocated, and, further, that per-group feature importance and fairness-related performance objectives can be incorporated in the allocation. These insights make our methods tunable to social contexts, allowing data owners to produce balanced synthetic data for predictive analysis.

研究の動機と目的

• 微分プライバシーな合成データ生成における均一なプライバシー予算割り当ての限界を是正すること。これは、とりわけマイノリティグループにおいて予測品質を損なう。
• 特徴量の重要度に基づいてプライバシー予算を割り当てることで、合成データの予測的忠実度を向上させる手法の開発。
• 公平性の目的をプライバシー予算割り当てに統合し、サブポピュレーション間でのモデル性能の乖離を最小限に抑えること。
• データ所有者が、社会的・倫理的優先順位を反映したバランスの取れた、解釈可能で調整可能な合成データを生成できるようにすること。
• プライバシー予算割り当てが、利用価値だけでなく、予測モデリングにおける公平性の最適化にも寄与できることを示すこと。

提案手法

• 本手法は、特徴量の重要度を推定する微分プライバシー・モデル（DPSAGE）を用いたアンサンブルフレームワークを採用し、プライバシー予算の割り当てをガイドする。
• プライバシー予算は、マージナルベースの合成器（例：MST）と条件付きモデル（例：DPLogisticRegression）の間で分割され、εの分割割合をグリッドサーチで最適化する。
• 公平性は、サブグループ間での性能指標（例：FNR、FPR）のバランスを最適化する公平性に配慮した目的関数を用いて強制される。
• 本フレームワークには2つのバリエーションが存在する：FSQ-Balはバランスの取れた正解率を、FSQ-FNRは高影響度の状況における誤診断率の最小化を目的とする。
• 特徴量の重要度と公平性制約に基づいて、コンポーネント間でεを動的に割り当てることで、調整可能なトレードオフを実現する。
• 実データおよび合成データを用いたエンドツーエンドの分類タスクを通じて性能を評価し、指標には正解率、F1スコア、各文化的背景グループにおけるFNRおよびFPRが含まれる。

実験結果

リサーチクエスチョン

• RQ1 特徴量の重要度に基づいたプライバシー予算割り当ては、微分プライバシーな合成データ上で学習されたモデルの予測精度を向上させることができるか？
• RQ2 公平性制約は、プライバシー予算割り当てプロセスに効果的に統合可能であり、文化的背景サブグループ間での性能乖離を低減できるか？
• RQ3 さまざまなプライバシー予算において、本手法の予測的有効性と公平性は、最先端のDP合成器と比較してどのように異なるか？
• RQ4 本手法は、予測および公平性指標の向上を図る一方で、高い統計的忠実度を維持しているか？
• RQ5 本フレームワークは、例えば、代表されていないグループにおける誤診断率の最小化といった、特定の公平性目的を優先できるように調整可能か？

主な発見

• ε = e³のとき、FSQ-BalはACSEmploymentデータセットで全体で72.0％の正解率を達成し、MST（65.2％）を上回り、実データ（74.3％）に近づいた。
• FSQ-Balは全体でFNRを9％に低下させ、ブラック・グループでは9％にまで抑え、実データ（全体12％、ブラック16％）およびMST（全体10％、ブラック21％）を上回った。
• 本手法は、人種グループ間でFNRとFPRのバランスを保ち、合成データ生成における公平性の効果的な強制を示した。
• 低プライバシー予算（ε = e⁰）ではMSTより分散が大きかったが、ε = e²およびε = e³ではMSTを上回る性能を示し、中程度～高いプライバシー水準での有効性を裏付けた。
• DPSAGEによる特徴量の重要度推定は、実データと強い一致を示した（ε = 0.2のときnDCG ≈ 0.9）、予算割り当てへの適用の妥当性を裏付けた。
• MSTがより高い集計的統計的忠実度を示していたにもかかわらず、本フレームワークは予測指標（正解率、F1）でMSTを上回り、公平性を維持した。