[論文レビュー] Towards the Infeasibility of Membership Inference on Deep Models

Shahbaz Rezaei, Xin Liu|arXiv (Cornell University)|May 27, 2020

Adversarial Robustness in Machine Learning参考文献 11被引用数 4

ひとこと要約

この論文は、深層学習モデルに対するメンバーシップインファレンス（MI）攻撃の認識された脆弱性に挑戦し、現在のMI攻撃が主に誤分類されたトレーニングサンプルを標的にとるため、正確な精度は限定的であり、信頼性の低い小さなサブセットにとどまることを示している。著者らは、深層モデルの出力がトレーニングサンプルと非トレーニングサンプルの間でほとんど区別できないことを示し、より深いモデルや過学習が進んだモデルが必ずしもより脆弱であるとは限らないことを示しており、記憶化とモデルの脆弱性に関する一般的な仮定を覆している。

ABSTRACT

Recent studies propose membership inference (MI) attacks on deep models. Despite the moderate accuracy of such MI attacks, we show that the way the attack accuracy is reported is often misleading and a simple blind attack which is highly unreliable and inefficient in reality can often represent similar accuracy. We show that the current MI attack models can only identify the membership of misclassified samples with mediocre accuracy at best, which only constitute a very small portion of training samples. We analyze several new features that have not been explored for membership inference before, including distance to the decision boundary and gradient norms, and conclude that deep models' responses are mostly indistinguishable among train and non-train samples. Moreover, in contrast with general intuition that deeper models have a capacity to memorize training samples, and, hence, they are more vulnerable to membership inference, we find no evidence to support that and in some cases deeper models are often harder to launch membership inference attack on. Furthermore, despite the common belief, we show that overfitting does not necessarily lead to higher degree of membership leakage. We conduct experiments on MNIST, CIFAR-10, CIFAR-100, and ImageNet, using various model architecture, including LeNet, ResNet, DenseNet, InceptionV3, and Xception. Source code: this https URL}{\color{blue} {this https URL}.

研究の動機と目的

• 報告された精度に基づいて、深層モデルがメンバーシップインファレンス攻撃に対して極めて脆弱であるという一般的な信念に反論すること。
• 一般的な直感とは対照的に、より深いまたは過学習が進んだモデルがメンバーシップ漏洩に対してより脆弱であるかどうかを調査すること。
• 意思決定境界からの距離や勾配ノルムといった新しい特徴量がメンバーシップインファレンスにどの程度有効であるかを評価すること。
• 現在のMI攻撃の評価指標が、信頼性の低い小さなデータサブセットに依存しているため、誤解を招く可能性があるかどうかを評価すること。

提案手法

• メンバーシップをランダムに推測する「ブラインドなメンバーシップインファレンス攻撃」を提案し、既存のMIモデルの実際の性能を評価するためのベースラインとして用いる。
• モデルの区別可能性を評価するために、意思決定境界からのL2距離と勾配ノルムの大きさといった新しい特徴量を導入する。
• MNIST、CIFAR-10、CIFAR-100、ImageNetの複数のデータセットと、LeNet、ResNet、DenseNet、InceptionV3、Xceptionの複数のアーキテクチャを用いた包括的な実験設定を採用する。
• 誤分類されたサンプルと正しく分類されたサンプルの両方に対して、モデルの挙動を別々に分析し、メンバーシップ漏洩の真の範囲を特定する。
• モデルの深さや過学習度の違いに応じた攻撃性能を比較し、それらがメンバーシップインファレンスの実現可能性に与える影響を評価する。
• 統計的分析を用いて、MI攻撃の精度をブラインドベースラインと比較し、報告された精度が現実のデータではしばしばランダム推測と有意に差がないことを示している。

実験結果

リサーチクエスチョン

• RQ1 現在のメンバーシップインファレンス攻撃は、誤分類されたサンプル以外の実際のトレーニングデータに対して、どの程度実際に成功するのか？
• RQ2 一般的に想定されているように、より深いまたは過学習が進んだモデルは、メンバーシップ漏洩が顕著になるのだろうか？
• RQ3 意思決定境界からの距離や勾配ノルムといった新しい特徴量は、メンバーシップインファレンスの性能を向上させることができるのだろうか？
• RQ4 単純なブラインドベースラインと比較した場合、報告された攻撃精度はどの程度信頼できるのか？
• RQ5 現実の状況では、深層モデルのトレーニングサンプルと非トレーニングサンプルに対する反応は根本的に区別可能なのだろうか？

主な発見

• メンバーシップインファレンス攻撃の精度は限定的であり、主に誤分類されたトレーニングサンプルを標的にしているため、トレーニングデータ全体の極めて小さな割合にとどまっている。
• 提案されたブラインド攻撃（メンバーシップをランダムに推測するもの）は、最先端のMIモデルと同程度の精度を達成することが多く、報告された精度が誤解を招き、かつ頑健ではないことを示している。
• 深層モデルの出力は、特に正しく分類された入力に対して、トレーニングサンプルと非トレーニングサンプルの間でほとんど区別できないことが示され、メンバーシップ漏洩の本質的限界が示唆されている。
• より深いモデルがメンバーシップインファレンスに対してより脆弱であるという一貫した証拠はなく、一部のケースでは攻撃がより困難であることも示された。
• 過学習が進んでも、メンバーシップ漏洩が必然的に増加するわけではない。これは、記憶化が攻撃成功率を高めるという一般的な仮定に反する。
• 意思決定境界からの距離や勾配ノルムといった特徴量は、メンバーシップインファレンスの性能を顕著に向上させない。これは、モデルの出力が信頼性を持って区別できないことをさらに示している。