[論文レビュー] Enhanced Membership Inference Attacks against Machine Learning Models

Jiayuan Ye, Aadyaa Maddi+3 more|arXiv (Cornell University)|Nov 18, 2021

Adversarial Robustness in Machine Learning参考文献 45被引用数 13

ひとこと要約

本稿は、参照モデルを用いてより強力な攻撃を設計できるようにする、メンバーシップ推定攻撃の形式的仮説検定フレームワークを提案する。攻撃Rと攻撃Dを導入し、攻撃者の不確実性を最小化することで、より高い真正陽性率と低い偽陽性率を達成し、CIFAR-10およびワイドResNetモデルにおいて、LiRA（Carliniら、2022年）と比較して、精度と計算効率の両面で優れた性能を示した。

ABSTRACT

How much does a machine learning algorithm leak about its training data, and why? Membership inference attacks are used as an auditing tool to quantify this leakage. In this paper, we present a comprehensive extit{hypothesis testing framework} that enables us not only to formally express the prior work in a consistent way, but also to design new membership inference attacks that use reference models to achieve a significantly higher power (true positive rate) for any (false positive rate) error. More importantly, we explain extit{why} different attacks perform differently. We present a template for indistinguishability games, and provide an interpretation of attack success rate across different instances of the game. We discuss various uncertainties of attackers that arise from the formulation of the problem, and show how our approach tries to minimize the attack uncertainty to the one bit secret about the presence or absence of a data point in the training set. We perform a extit{differential analysis} between all types of attacks, explain the gap between them, and show what causes data points to be vulnerable to an attack (as the reasons vary due to different granularities of memorization, from overfitting to conditional memorization). Our auditing framework is openly accessible as part of the extit{Privacy Meter} software tool.

研究の動機と目的

• 攻撃者の不確実性に関する異なる仮定が原因で生じる、既存のメンバーシップ推定攻撃の不整合性と比較不能性を解消すること。
• メンバーシップ推定を一貫した比較と解釈が可能な統一的なフレームワークで仮説検定問題として形式化すること。
• メンバーシップ推定攻撃における不確実性の源、特に訓練データセットへのデータ所属を示す秘密ビットを特定し、最小化すること。
• 過学習から条件付き記憶まで、さまざまな粒度での漏洩を分析することで、異なる攻撃がなぜ成功または失敗するかを説明すること。
• より強力で効率的な攻撃を可能にする体系的な手法を構築し、プライバシーリスク評価に役立つインサイトを提供すること。

提案手法

• 攻撃者がモデル出力に基づいてデータポイントが訓練データセットに属するかどうかを特定する必要がある、区別不能ゲームにおける確率的実験としてメンバーシップ推定を形式化する。
• 攻撃者の不確実性を捉え、異なる手法間での攻撃力の一貫した比較を可能にする仮説検定のテンプレートを導入する。
• 参照モデルを用いてメンバーシップ推定の閾値を推定し、不確実性を1ビット（所属／非所属）にまで最小化する攻撃Rと攻撃Dを設計する。
• 微分分析を用いて攻撃を比較し、脆弱性の原因を特定する。ここには、過学習、難易度の高い例の記憶、潜在的近傍の影響が含まれる。
• データの部分集合で訓練された参照モデルを活用し、ターゲットレコードの条件付き漏洩を推定することで、精度を向上させ、計算コストを削減する。
• Privacy Meterツールにこのフレームワークを実装し、再現可能で監査可能な機械学習モデルのプライバシーリスク評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 メンバーシップ推定攻撃を一貫した仮説検定フレームワークの下で形式的に統合し、公平な比較と解釈を可能にする方法は何か？
• RQ2 攻撃者の知識における不確実性の源は何か？ それらはどのように最小化できるか？
• RQ3 なぜ異なる攻撃がメンバーシップ推定において異なる性能を示すのか？ また、過学習や条件付き記憶などの種類の記憶が脆弱性に寄与するのか？
• RQ4 特に潜在的近傍の存在を含む、残りの訓練データセットの構成が、特定のデータレコードの脆弱性にどのように影響するか？
• RQ5 体系的な手法によって、LiRA（Carliniら、2022年）と同等以上の精度と効率を達成する攻撃を構築できるか？

主な発見

• 攻撃Rは、CIFAR-10とワイドResNetにおいて、LiRA（Carliniら、2022年）よりも高いAUCスコアを達成したが、低偽陽性率における真正陽性率はほぼ同等だった。
• 攻撃Dは、固定された高い真正陽性率において、LiRAをAUCで上回り、偽陽性率も低く抑えられた。これは、未知のターゲットデータセットの影響を考慮したためである。
• 提案されたフレームワークにより、LiRAが1点あたりn OUTおよびn INモデルを必要とするのに対し、本手法では2n OUTモデルのみで済むため、計算コストが著しく削減された。k個のターゲットポイントに対して、平均コストは(k+1)/2倍低くなった。
• 微分分析により、脆弱性は過学習、難易度の高い例の記憶、および潜在的近傍の影響を受ける条件付き記憶といった複数の要因が同時に作用することによって生じることが明らかになった。
• 脆弱なレコードの損失は、それが正しくメンバーと予測されたモデルでは顕著に低く抑えられていたが、ランダムレコードの損失は予測の正しさに関係なく安定していた。
• 脆弱なレコードの潜在的近傍は、全体の訓練データセットよりもその脆弱性に強く影響を与えており、局所的なデータ構造がグローバルなデータ構成よりも予測に優れていることが示唆された。