[論文レビュー] On the Privacy Risks of Algorithmic Recourse

Martin Pawelczyk, Himabindu Lakkaraju+1 more|arXiv (Cornell University)|Nov 10, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、アルゴリズム的レコーシブ（ recourse ）を活用して、データインスタンスがモデルの学習データに含まれていたかどうかを推定する、反事後的距離に基づくメンバーシップ推定攻撃を紹介する。インスタンスとその生成された反事後的例との間の距離を分析することで、著者らは特に高次元データにおいて顕著なプライバシー漏洩を実証した。これは、従来の損失に基づく攻撃を上回り、レコーシブの導入においてこれまで未発見の重大なリスクを明らかにしている。

ABSTRACT

As predictive models are increasingly being employed to make consequential decisions, there is a growing emphasis on developing techniques that can provide algorithmic recourse to affected individuals. While such recourses can be immensely beneficial to affected individuals, potential adversaries could also exploit these recourses to compromise privacy. In this work, we make the first attempt at investigating if and how an adversary can leverage recourses to infer private information about the underlying model's training data. To this end, we propose a series of novel membership inference attacks which leverage algorithmic recourse. More specifically, we extend the prior literature on membership inference attacks to the recourse setting by leveraging the distances between data instances and their corresponding counterfactuals output by state-of-the-art recourse methods. Extensive experimentation with real world and synthetic datasets demonstrates significant privacy leakage through recourses. Our work establishes unintended privacy leakage as an important risk in the widespread adoption of recourse methods.

研究の動機と目的

• アルゴリズム的レコーシブ手法が、学習データに関するプライベートな情報を意図せず漏洩させないかを調査すること。
• 反事後的距離を活用する新しいメンバーシップ推定攻撃のクラスを同定し、形式化すること。
• 多様な実世界および合成データセットを対象に、これらの攻撃の有効性を評価すること。
• このようなプライバシー漏洩が最も深刻になる条件を理解すること。
• 実世界の機械学習導入における、プライバシーを守るレコーシブ生成の緊急の必要性を強調すること。

提案手法

• 入力インスタンスとそのアルゴリズム的反事後的例との間の距離を活用する、一般化されたメンバーシップ推定攻撃のクラスを提唱する。
• 2つの具体的な攻撃を導入する：しきい値ベースの手法と、反事後的距離を入力とする尤度比検定（LRT）。
• 現実的な仮定に基づく：敵対者は1インスタンスあたり1回のみレコーシブアルゴリズムにクエリを送信可能であり、実際のユーザーのアクセスを模倣する。
• データセットおよびモデルタイプにわたる攻撃性能を評価するために、対数スケールのROC曲線と距離分布の比較を用いる。
• 制御された次元数とモデル容量を持つ合成データと、金融、医療、法的分野からの実世界データセットを用いて攻撃の妥当性を検証する。
• 全モデル勾配とラベルにアクセス可能な、損失に基づくメンバーシップ推定攻撃を含むベースライン手法と、攻撃性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 敵対者は、アルゴリズム的レコーシブを用いて、特定のデータインスタンスがモデルの学習データに含まれていたかどうかを特定できるか？
• RQ2 インスタンスとその反事後的例との間の距離が、学習データセットへの所属に関するどのような情報を露わにするか？
• RQ3 高次元性、モデルの過学習などのデータおよびモデルの条件下で、このプライバシー漏洩はどのように顕著に現れるか？
• RQ4 レコーシブに基づく攻撃の性能は、最先端の損失に基づくメンバーシップ推定攻撃と比べてどの程度か？
• RQ5 モデル容量や特徴次元数が、レコーシブを通じたプライバシー漏洩リスクをどの程度増幅させるか？

主な発見

• 提案された反事後的距離に基づく攻撃は、高次元データにおいて、全モデル勾配とラベルにアクセス可能な標準的な損失に基づくメンバーシップ推定攻撃を著しく上回る。
• 特徴次元数の増加に伴い攻撃性能が向上し、高次元の合成データにおいて学習インスタンスとテストインスタンスの距離分布の乖離が確認された。
• 低次元から中程度次元（d < 50）の実世界のテーブルデータセットでは、攻撃性能はやや中程度にとどまることが示され、次元数が漏洩深刻度の主要要因であることが明らかになった。
• 非線形モデル（例：深層ニューラルネットワーク）では、モデル容量の増加が攻撃成功を促進し、特に高次元特徴と組み合わせると、CFL LRTが損失に基づくLRTでさえも上回る性能を示した。
• モデルが学習データに過学習している場合に攻撃が最も効果的であり、過学習がレコーシブを通じたプライバシー漏洩を悪化させることを確認した。
• 実験結果から、CFL LRTは高次元の合成データにおいて高いAUCを達成しており、反事後的距離そのものがメンバーシップ推定の強力なシグナルであることが示された。