[論文レビュー] Investigating Trade-offs in Utility, Fairness and Differential Privacy in Neural Networks

Marlotte Pannekoek, Giacomo Spigler|arXiv (Cornell University)|Feb 11, 2021

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、単純なニューラルネットワーク（S-NN）、フェアネスを考慮したニューラルネットワーク（F-NN）、微分プライバシーを適用したニューラルネットワーク（DP-NN）、およびフェアネスとプライバシーを併用したモデル（DPF-NN）を比較することにより、ニューラルネットワークにおける利便性、フェアネス、微分プライバシーのトレードオフを調査している。強力なプライバシー設定（ε=0.1、δ=0.00001）下で、DP-NNとS-NNと比較してわずかな精度の低下しか生じない一方で、DPF-NNはリスク差が0.05未満という優れたフェアネス性能を達成しており、利便性を維持したまま先行研究を上回っている。

ABSTRACT

To enable an ethical and legal use of machine learning algorithms, they must both be fair and protect the privacy of those whose data are being used. However, implementing privacy and fairness constraints might come at the cost of utility (Jayaraman & Evans, 2019; Gong et al., 2020). This paper investigates the privacy-utility-fairness trade-off in neural networks by comparing a Simple (S-NN), a Fair (F-NN), a Differentially Private (DP-NN), and a Differentially Private and Fair Neural Network (DPF-NN) to evaluate differences in performance on metrics for privacy (epsilon, delta), fairness (risk difference), and utility (accuracy). In the scenario with the highest considered privacy guarantees (epsilon = 0.1, delta = 0.00001), the DPF-NN was found to achieve better risk difference than all the other neural networks with only a marginally lower accuracy than the S-NN and DP-NN. This model is considered fair as it achieved a risk difference below the strict (0.05) and lenient (0.1) thresholds. However, while the accuracy of the proposed model improved on previous work from Xu, Yuan and Wu (2019), the risk difference was found to be worse.

研究の動機と目的

• ディープラーニングモデルにおける利便性、フェアネス、微分プライバシーの相互作用を調査すること。
• フェアネスとプライバシー制約を個別に適用した場合と組み合わせた場合のニューラルネットワークにおける性能を評価すること。
• ロジスティック回帰に関する先行研究と比較して、微分プライバシーとフェアネスを組み合わせることでモデルの成果が向上するかどうかを評価すること。
• プライバシーとフェアネスを実現する際に、モデルの利便性が著しく低下しないかを検証すること。
• 拒否オプション分類と微分プライバシー最適化手法が、複数の制約を満たすニューラルネットワークにおいて有効であることを検証すること。

提案手法

• 本研究では、単純なニューラルネットワーク（S-NN）、拒否オプション分類を用いたフェアネスを考慮したニューラルネットワーク（F-NN）、プライバシー保護最適化手法を適用した微分プライバシーを適用したニューラルネットワーク（DP-NN）、およびフェアネスとプライバシーを併用したモデル（DPF-NN）の4つのモデルを比較している。
• フェアネスは、保護対象グループ間の差を低減するために予測しきい値を調整する後処理手法として、拒否オプション分類を用いて実装されている。
• 微分プライバシーは、プライバシー予算パラメータεとδに従って制御されるノイズ注入を伴う微分プライバシー最適化手法を用いて実装されている。
• モデルはAdultおよびDutchデータセット上で訓練・評価され、精度（利便性）、リスク差（フェアネス）、ε、δ（プライバシー）を指標として性能を測定している。
• DPF-NNは、拒否オプション分類と微分プライバシー最適化手法を併用することで、フェアネスとプライバシーの両方の制約を同時に適用している。
• 比較評価のため、Xu, Yuan, and Wu (2019) が報告したロジスティック回帰に関するベースライン結果を用いている。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを適用することで、ニューラルネットワークのフェアネスと利便性にどのような影響を与えるか？
• RQ2 プライバシー制約下で、後処理によるフェアネスの強制がモデル性能にどの程度向上効果をもたらすか？
• RQ3 ニューラルネットワークが同時に強いプライバシー、高いフェアネス、良好な利便性を達成できるか？
• RQ4 フェアネスと微分プライバシーを併用した場合のトレードオフは、個別に制約を適用した場合と比べてどの程度異なるか？
• RQ5 DPF-NNモデルは、プライバシー・フェアネス・利便性のバランスを取る点で、先行研究を上回っているか？

主な発見

• ε=0.1、δ=0.00001のDPF-NNは、厳密な閾値（0.05未満）を下回るリスク差を達成しており、強力なフェアネス性能を示している。
• DPF-NNは、S-NNおよびDP-NNと比較してわずかな精度の低下しか示さず、強いプライバシー設定下でも高い利便性を維持している。
• Xu, Yuan, and Wu (2019) が報告したベースラインの微分プライバシーとフェアネスを併用したモデルと比較して、DPF-NNは精度面で顕著に優れており、リスク差はやや高いものの、全体的な性能が向上している。
• ε=0.1、δ=0.00001のDP-NNは、ベースラインのプライバシー保護モデルと比較して顕著に高い精度を達成しており、フェアネス水準は類似している。
• DP-NNおよびDPF-NNにおいては、プライバシー強度を高めるに従って精度が低下する一貫した傾向は観察されず、これは先行研究の仮定に反する。
• F-NNは高いフェアネスと精度を達成しているが、プライバシー保護を提供しないことから、両方の制約を併用する必要性が浮き彫りになっている。