[論文レビュー] Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models

Xinlei He, Zheng Li+3 more|arXiv (Cornell University)|Aug 22, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本稿では、多様なモデル、データセット、脅威モデルをカバーするメンバーシップ推定攻撃および防御の包括的ベンチマークフレームワーク、Membership-Doctorを紹介する。Jensen-Shannonダイバージェンスによるエントロピー／交差エントロピーの予測が、過適合度よりも攻撃成功をよりよく予測することを明らかにした。また、データ拡張は既存の攻撃を顕著に弱体化させるとともに、モデルの有用性を向上させることを示し、新たな効果的な防御戦略を提供する。

ABSTRACT

Machine learning models are prone to memorizing sensitive data, making them vulnerable to membership inference attacks in which an adversary aims to infer whether an input sample was used to train the model. Over the past few years, researchers have produced many membership inference attacks and defenses. However, these attacks and defenses employ a variety of strategies and are conducted in different models and datasets. The lack of comprehensive benchmark, however, means we do not understand the strengths and weaknesses of existing attacks and defenses. We fill this gap by presenting a large-scale measurement of different membership inference attacks and defenses. We systematize membership inference through the study of nine attacks and six defenses and measure the performance of different attacks and defenses in the holistic evaluation. We then quantify the impact of the threat model on the results of these attacks. We find that some assumptions of the threat model, such as same-architecture and same-distribution between shadow and target models, are unnecessary. We are also the first to execute attacks on the real-world data collected from the Internet, instead of laboratory datasets. We further investigate what determines the performance of membership inference attacks and reveal that the commonly believed overfitting level is not sufficient for the success of the attacks. Instead, the Jensen-Shannon distance of entropy/cross-entropy between member and non-member samples correlates with attack performance much better. This gives us a new way to accurately predict membership inference risks without running the attack. Finally, we find that data augmentation degrades the performance of existing attacks to a larger extent, and we propose an adaptive attack using augmentation to train shadow and attack models that improve attack performance.

研究の動機と目的

• 多様なモデル、データセット、脅威モデルをカバーするメンバーシップ推定攻撃および防御の包括的ベンチマークの不足を解消すること。
• さまざまな実験条件下で9つの最先端の攻撃および6つの防御の性能を体系的に評価すること。
• シャドウモデルとターゲットモデルの間で同一アーキテクチャまたは同一分布という一般的な脅威モデルの仮定が本当に必要かどうかを調査すること。
• 過適合度を超えた攻撃効果を決定づける内在要因を特定し、現実世界のデータおよびデータ拡張の影響を評価すること。
• 新しい攻撃、防御、データセット、モデルの統合を可能にするモジュラーかつ拡張可能なフレームワーク、Membership-Doctorの開発

提案手法

• 著者らは、4つのモデルアーキテクチャ（VGG11, MobileNetV2, ResNet18, ResNet34）および6つのベンチマークデータセット（CIFAR10, CIFAR100, Place20/40/60/80）をカバーする、9つのメンバーシップ推定攻撃および6つの防御を統合したモジュラーなフレームワーク、Membership-Doctorを実装した。
• 1,296の攻撃シナリオを網羅的に評価し、シャドウモデルのアーキテクチャやデータ分布といった脅威モデルの仮定を体系的に変化させた。
• 本フレームワークにより、インターネットから収集したデータを用いた攻撃（ラボデータセットではなく）を含む、現実世界の条件での攻撃性能の測定が可能になった。
• メンバーと非メンバーのサンプルにおけるエントロピーと交差エントロピーの分布間のJensen-Shannonダイバージェンスを計算し、攻撃成功を予測した。
• データ拡張が攻撃および防御の性能に与える影響を評価し、シャドウモデルおよび攻撃モデルの学習時に拡張を活用する適応的攻撃を提案した。
• 特にDP-SGD、MixupMMD、ラベルスムージングに対しては、プライバシーと有用性のトレードオフを調査するために防御のハイパーパrameterを最適化した。

実験結果

リサーチクエスチョン

• RQ1 固定された実験シナリオ下で、最も高い性能を示すメンバーシップ推定攻撃および防御は何か？
• RQ2 シャドウモデルとターゲットモデルの間で同一アーキテクチャまたは同一分布という仮定が、攻撃性能にどのように影響するか？
• RQ3 過適合度を超えた、メンバーシップ推定攻撃の成功を決定づける内在要因は何か？
• RQ4 インターネットから収集した現実世界のデータを用いた場合、メンバーシップ推定攻撃はどの程度有効か？
• RQ5 データ拡張は攻撃および防御の性能にどのように影響し、防御メカニズムとして活用可能か？

主な発見

• NN-normal+label攻撃が、評価されたすべての攻撃の中で最高の性能を示したが、メトリックベースの攻撃も計算コストが低いため、同等の結果を達成した。
• MixupMMDとDP-SGDが最も効果的な防御であり、特にMixupMMDは他の防御と比較してモデルの有用性をよりよく保持した。
• シャドウモデルとターゲットモデルの間で同一アーキテクチャまたは同一分布という仮定は、実効的な攻撃の実現に必要ではないことが判明し、従来の仮定に疑問を呈した。
• メンバーと非メンバーのサンプル間におけるエントロピーと交差エントロピーのJensen-Shannonダイバージェンスは、攻撃性能と強く相関しており、攻撃を実行せずにリスクを予測可能である。
• データ拡張は既存の攻撃を顕著に劣化させるとともに、強力な防御として機能し、プライバシーとモデルの有用性の両方を向上させた。
• シャドウモデルおよび攻撃モデルの学習時にデータ拡張を活用する適応的攻撃は、データ拡張を用いて訓練されたモデルに対して、標準的な攻撃を上回る性能を示した。