[論文レビュー] Disparate Vulnerability: on the Unfairness of Privacy Attacks Against Machine Learning.

Mohammad Yaghini, Bogdan Kulynych+1 more|arXiv (Cornell University)|Jun 2, 2019

Privacy-Preserving Technologies in Data参考文献 27被引用数 24

ひとこと要約

この論文は、平均的には効果が薄く見えるものの、機械学習モデルに対するメンバーシップ推定攻撃（MIAs）が、人種や性別などのデモグラフィックサブグループ間で不均等な脆弱性を示すことを明らかにしている。本研究は、こうした不均等性の理論的条件を確立し、公平性制約や微分プライバシーがそれらを緩和できるかどうかを評価し、サブグループの視点からモデルのプライバシーリスクを監査するための新しい枠組みを提示する。

ABSTRACT

A membership inference attack (MIA) against a machine learning model enables an attacker to determine whether a given data record was part of the model's training data or not. The effectiveness of these attacks is reported using metrics computed across the whole population (e.g., average attack accuracy). In this paper, we show that the attack success varies across different subgroups of the data (e.g., race, gender), i.e., there is \emph{disparate vulnerability}. Even if MIA's success looks no better than random guessing over the whole population, subgroups can still be vulnerable. We study the necessary and sufficient conditions for a classifier to exhibit disparate vulnerability, and we determine to what extent certain learning techniques (e.g., fairness constraints, differential privacy) can prevent it. Our work provides a theoretical framework for studying MIA attacks from a new perspective.

研究の動機と目的

• メンバーシップ推定攻撃（MIAs）が、人種や性別などのデータのサブグループ間で不均等な成功率を示すかどうかを調査すること。
• 分類器がMIAsに対して不均等に脆弱になるための必要十分条件を同定すること。
• 公平性制約と微分プライバシーが、MIAsにおける不均等な脆弱性を効果的に低減または排除できるかどうかを評価すること。

提案手法

• 著者たちは、モデルのメンバーシップ推定脆弱性がサブグループ間でどのように変動するかを理論的に分析し、モデルの挙動とデータ分布に焦点を当てる。
• モデルの信頼度とサブグループ間のデータ表現の違いに基づいて、不均等な脆弱性が生じる条件を数学的に導出する。
• 公平性制約や微分プライバシーなどの既存の防御策を、サブグループごとの攻撃成功率への影響を測定することで評価する。
• 実世界のデータセットを用いた実証的分析により、全体の精度が穏やかに見える中で、攻撃精度がデモグラフィックサブグループごとにどのように変動するかを示す。
• 集計性能指標にとどまらず、サブグループレベルのプライバシーリスクを監査するためのフレームワークを提唱する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルが、異なるデモグラフィックサブグループ間でメンバーシップ推定攻撃に対して不均等に脆弱になる条件は何か？
• RQ2 モデル学習における公平性制約が、サブグループごとのMIA成功率をどの程度低減するか？
• RQ3 微分プライバシーは、メンバーシップ推定攻撃における不均等な脆弱性を効果的に緩和できるか？
• RQ4 実世界のモデルにおいて、サブグループレベルの攻撃精度は、全体の平均攻撃精度とどのように比較されるか？

主な発見

• 平均的には効果が薄く見えるメンバーシップ推定攻撃でも、特定のサブグループ（たとえば特定の人種や性別グループ）は著しく脆弱であることがある。
• モデルの信頼度スコアがサブグループ間で体系的に異なる場合、特に代表が不足しているか弱い立場にあるグループで攻撃成功率が高くなる。
• 学習時に適用される公平性制約は、不均等な脆弱性を必ずしも低減せず、むしろ悪化させる場合がある。
• 微分プライバシーは不均等な脆弱性に対して強力な防御を提供し、すべてのサブグループで攻撃成功率を著しく低下させる。
• 本研究は、集計性能指標が特定のサブグループに対する深刻なプライバシーリスクを隠している可能性を示しており、サブグループレベルの監査の必要性を強調している。