[論文レビュー] Machine Learning with Membership Privacy using Adversarial Regularization

Milad Nasr, Reza Shokri+1 more|arXiv (Cornell University)|Jul 16, 2018

Adversarial Robustness in Machine Learning参考文献 33被引用数 23

ひとこと要約

本稿では、訓練データの予測と非訓練データの予測を区別できなくすることで、モデルの精度とメンバーシッププライバシーを同時に最適化するミニマックス敵対的訓練フレームワークを提案する。この手法は、精度損失を最小限に抑えつつ、近似的にランダム推測レベルのメンバーシップ推定攻撃成功率を達成し、一般化性能の向上に寄与する強力な正則化子として機能する。

ABSTRACT

Machine learning models leak information about the datasets on which they are trained. An adversary can build an algorithm to trace the individual members of a model's training dataset. As a fundamental inference attack, he aims to distinguish between data points that were part of the model's training set and any other data points from the same distribution. This is known as the tracing (and also membership inference) attack. In this paper, we focus on such attacks against black-box models, where the adversary can only observe the output of the model, but not its parameters. This is the current setting of machine learning as a service in the Internet. We introduce a privacy mechanism to train machine learning models that provably achieve membership privacy: the model's predictions on its training data are indistinguishable from its predictions on other data points from the same distribution. We design a strategic mechanism where the privacy mechanism anticipates the membership inference attacks. The objective is to train a model such that not only does it have the minimum prediction error (high utility), but also it is the most robust model against its corresponding strongest inference attack (high privacy). We formalize this as a min-max game optimization problem, and design an adversarial training algorithm that minimizes the classification loss of the model as well as the maximum gain of the membership inference attack against it. This strategy, which guarantees membership privacy (as prediction indistinguishability), acts also as a strong regularizer and significantly generalizes the model. We evaluate our privacy mechanism on deep neural networks using different benchmark datasets. We show that our min-max strategy can mitigate the risk of membership inference attacks (close to the random guess) with a negligible cost in terms of the classification error.

研究の動機と目的

• 機械学習サービス（MLaaS）環境におけるメンバーシップ推定攻撃という深刻なプライバシー脅威に対処すること。
• 微分プライバシーに依存せずに、訓練データと非訓練データのモデル出力が区別不能である、すなわちメンバーシッププライバシーを保証するプライバシー機構を設計すること。
• 分類精度（モデルの有用性）と、最も強力なメンバーシップ推定攻撃に対するプライバシーの強度を同時に最適化すること。
• 防御をミニマックスゲームとして形式化し、モデルは分類損失を最小化すると同時に、訓練データと非訓練データを区別する難易度を最大化するように訓練すること。
• 提案手法が強力な正則化子として機能し、一般化性能を向上させるとともに、証明可能なメンバーシッププライバシーを保証することを示すこと。

提案手法

• メンバーシッププライバシーを予測の区別不能性として形式化：訓練データに対するモデル出力が、同じ分布からの任意のデータポイントに対する出力と統計的に区別できないようにすること。
• ミニマックス最適化として防御をモデル化：モデルは分類損失を最小化し、敵対者はメンバーシップ推定の利益を最大化する。これは、最も強力な攻撃を模擬する。
• 敵対的訓練を用いて、モデル訓練中にメンバーシップ推定敵をシミュレートする。敵はモデル出力に基づいて、訓練サンプルと非訓練サンプルを区別するように訓練される。
• メンバーシップ推定敵を訓練ループに微分可能コンponentとして統合し、エンドツーエンドのバックプロパゲーションと共同最適化を可能にする。
• 標準ベンチマークデータセットを用いて深層ニューラルネットワークに適用し、プライバシー機構を訓練目的に直接統合する。
• ゲーム理論的フレームワークを用いて、得られたモデルが訓練に使われた特定の敵対者に対してだけでなく、同じ利益関数を最大化するあらゆる推定攻撃に対しても耐性を持つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 訓練データに対するモデルの予測が、同じ分布からの非訓練データの予測と区別できないように、機械学習モデルを訓練できるか？
• RQ2 このようなプライバシー保証を、モデルの有用性（分類精度）へのコストを最小限に抑えて達成できるか？
• RQ3 提案されたミニマックス敵対的訓練フレームワークは、モデルを正則化し、一般化性能を向上させるか？
• RQ4 本手法は、実世界のMLaaS環境におけるブラックボックス型メンバーシップ推定攻撃に対してどれほど効果的か？
• RQ5 本手法は、顕著な性能低下を伴わずに深層ニューラルネットワークに適用可能か？

主な発見

• 提案手法は、評価されたすべてのベンチマークデータセットでメンバーシップ推定攻撃の成功率をほぼランダム推測レベル（約50％）にまで低下させ、強力なメンバーシッププライバシーを示している。
• 分類精度の損失は極めて小さく、通常1％未満であり、近似的に完璧なメンバーシッププライバシーを達成しても顕著な影響がない。
• 本手法は強力な正則化子として機能し、標準的な訓練と比較して、テストデータにおけるモデルの一般化性能を顕著に向上させている。
• 敵対的訓練フレームワークは、最悪の敵対者を想定して最適化されるため、最も強力なメンバーシップ推定攻撃に対しても効果的に防御を実現している。
• 従来の正則化手法や単純なプライバシー緩和技術よりも、プライバシー保護と有用性の維持の両面で優れている。
• MNIST、CIFAR-10、その他のデータセットにおける実験結果から、本手法が多様な深層学習タスクおよびアーキテクチャにわたり有効であることが確認された。