[論文レビュー] On the Privacy Risks of Algorithmic Fairness

Hongyan Chang, Reza Shokri|arXiv (Cornell University)|Nov 7, 2020

Privacy-Preserving Technologies in Data参考文献 46被引用数 6

ひとこと要約

本稿は、機械学習におけるグループ公平性が引き起こすプライバシーリスクを調査し、公平性制約が特に弱い立場のサブグループに対して、メンバーシップ推定攻撃を通じて情報漏洩を増加させることを示している。等しいオッズを用いてモデルを訓練することで、公平性と記憶の強化のトレードオフが明らかになった。これは、バイアスを低減することを目的としているが、逆に代表が不足しているグループのプライバシーリスクを高めることにつながる。

ABSTRACT

Algorithmic fairness and privacy are essential pillars of trustworthy machine learning. Fair machine learning aims at minimizing discrimination against protected groups by, for example, imposing a constraint on models to equalize their behavior across different groups. This can subsequently change the influence of training data points on the fair model, in a disproportionate way. We study how this can change the information leakage of the model about its training data. We analyze the privacy risks of group fairness (e.g., equalized odds) through the lens of membership inference attacks: inferring whether a data point is used for training a model. We show that fairness comes at the cost of privacy, and this cost is not distributed equally: the information leakage of fair models increases significantly on the unprivileged subgroups, which are the ones for whom we need fair learning. We show that the more biased the training data is, the higher the privacy cost of achieving fairness for the unprivileged subgroups will be. We provide comprehensive empirical analysis for general machine learning algorithms.

研究の動機と目的

• 機械学習におけるグループ公平性の強制が、トレーニングデータのプライバシーリスクを高めるかどうかを調査すること。
• 公平性制約が、特に代表が不足しているまたは弱い立場のサブグループにおける個人に関する情報漏洩にどのように影響するかを分析すること。
• 公平性が強制された際の、異なるデモグラフィックグループ間でのプライバシーリスクの格差を評価すること。
• 公平モデルにおけるプライバシーリスクをよりよく捉えるために、サブグループに特化したメンバーシップ推定攻撃戦略を開発・検証すること。
• 公平性とプライバシーのトレードオフ、特にトレーニングデータにバイアスがある場合のその程度を実証すること。

提案手法

• 著者たちは、モデルの情報漏洩の代理指標としてメンバーシップ推定攻撃を用い、攻撃者があるデータポイントがトレーニングセットに含まれていたかどうかをどれだけうまく特定できるかを測定している。
• 各保護対象サブグループごとに別個の識別器を訓練する、サブグループ固有のメンバーシップ推定攻撃戦略を提案している。これは、1つのグローバル識別器ではなく、個別の識別器を用いることである。
• この手法は、内部パラメータや勾配が観測可能でない、ブラックボックス設定でのプライバシーリスク評価を想定している。
• 等しいオッズを用いて公平性を強制したモデルと、制約なしのモデルを、合成データ、Law School、Bank Marketing、COMPASを含む複数のデータセットで比較評価している。
• 実験的評価では、プライバシーリスクを定量化するために攻撃の正確度を指標として用い、サブグループレベルでの分析により格差を検出している。
• このフレームワークは、合成環境にとどまらず、現実のデータセットに適用して、データバイアスとモデルの公平性の相互作用を検証している。

実験結果

リサーチクエスチョン

• RQ1 機械学習におけるグループ公平性の強制は、トレーニングデータに対するメンバーシップ推定攻撃のリスクを高めるか？
• RQ2 公平モデルのプライバシーリスクは、保護対象サブグループ、特に弱い立場のグループにおいてどのように異なるか？
• RQ3 トレーニングセット内のデータバイアスと、公平性を達成するためのプライバシーコストの関係は何か？
• RQ4 サブグループ固有のメンバーシップ推定攻撃は、グローバル識別器と比較して、公平モデルにおけるプライバシー漏洩をよりよく検出できるか？
• RQ5 公平性の強制が、代表が不足しているグループの記憶を強化し、そのプライバシー露出を高める程度はどの程度か？

主な発見

• 公平モデルでは、制約なしのモデルと比較して、弱い立場のサブグループにおけるプライバシーリスクが顕著に高まっており、これはそのトレーニングデータの記憶が強化されているためである。
• 元のトレーニングデータがよりバイアスを含む場合、公平性のプライバシーコストが高くなることが示され、公平性とプライバシーの直接的なトレードオフが裏付けられた。
• 等しいオッズの観点からモデルがより公平になるほど、弱い立場のサブグループに対するプライバシーリスクが高くなる。
• サブグループ固有のメンバーシップ推定攻撃は、グローバル識別器よりも高い正確度を達成しており、これは公平モデルにおける情報漏洩を測定する上で、より効果的であることを証明している。
• 平均的なプライバシーリスクが低くても、弱い立場のグループの個々のレコードは顕著に高い露出リスクを示しており、特に小規模または複雑なサブグループでは顕著である。
• 本研究は、公平性制約が、保護を目的としているグループそのものに、不均等なプライバシーリスクをもたらす可能性があることを確認しており、これは倫理的なAIの目標を損なうものである。