[論文レビュー] Privacy Risk in Machine Learning: Analyzing the Connection to Overfitting

Samuel Yeom, Irene Giacomelli+2 more|arXiv (Cornell University)|Sep 5, 2017

Privacy-Preserving Technologies in Data参考文献 36被引用数 11

ひとこと要約

この論文は、機械学習における過学習とプライバシーリスクの明確な関係を確立し、過学習が複数のアルゴリズムにわたるメンバーインファレンス攻撃の十分条件であることを示している。さらに、目的属性およびモデル構造の影響が、過学習を示さないモデルでさえもプライバシー漏洩を引き起こす可能性があることを明らかにし、一般化の有無がプライバシーを保証するという仮定に疑問を呈している。

ABSTRACT

Machine learning algorithms, when applied to sensitive data, pose a distinct threat to privacy. A growing body of prior work demonstrates that models produced by these algorithms may leak specific private information in the training data to an attacker, either through the models' structure or their observable behavior. However, the underlying cause of this privacy risk is not well understood beyond a handful of anecdotal accounts that suggest overfitting and influence might play a role. This paper examines the effect that overfitting and influence have on the ability of an attacker to learn information about the training data from machine learning models, either through training set membership inference or attribute inference attacks. Using both formal and empirical analyses, we illustrate a clear relationship between these factors and the privacy risk that arises in several popular machine learning algorithms. We find that overfitting is sufficient to allow an attacker to perform membership inference and, when the target attribute meets certain conditions about its influence, attribute inference attacks. Interestingly, our formal analysis also shows that overfitting is not necessary for these attacks and begins to shed light on what other factors may be in play. Finally, we explore the connection between membership inference and attribute inference, showing that there are deep connections between the two that lead to effective new attacks.

研究の動機と目的

• 機械学習モデルにおける過学習、影響力、プライバシーリスクの間の正式な関係を分析すること。
• 正確な形式的測度を用いて、メンバーインファレンスおよび属性インファレンス攻撃におけるプライバシーの利点を定義および定量化すること。
• 過学習がプライバシー漏洩に対して必要かつ十分であるかどうかを、特にブラックボックス設定において調査すること。
• モデル構造および影響力が、過学習が存在しない状況でも攻撃を可能にする仕組みを調査すること。
• 悪意ある学習ルールが、良好な一般化を示しながらもメンバー情報漏洩を引き起こす可能性があることを、アルゴリズム置換を通じて実証すること。

提案手法

• 攻撃者による訓練データとテストデータの精度の差に基づいて、メンバーインファレンスおよび属性インファレンスの利得を形式的に定義する。
• 一般化誤差（過学習）の観点からメンバーインファレンス利得を分析し、特定の条件下で比例関係が成り立つことを示す。
• メンバーインファレンスを可能にする共謀的攻撃者および学習ルール（$A^{ ext{C}}, ilde{ ext{A}}^{ ext{C}}$）の理論的構築を提案し、安定的で過学習のないモデルでも攻撃を実現可能とする。
• 深層畳み込みニューラルネットワーク（deep CNNs）を用いて、実世界のデータセット上で過学習とメンバーインファレンス攻撃のパフォーマンスの関係を実証的に検証する。
• 正則化およびモデル構造の制御を用いて、過学習と影響力がプライバシーリスクに与える影響を分離して分析する。
• 目的属性がモデル出力に与える影響が、特に過学習と組み合わせられた場合に属性インファレンス攻撃の成功に重要な要因であることを示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な機械学習モデルにおいて、過学習はメンバーインファレンス攻撃の成功にどの程度寄与するか？
• RQ2 過学習はメンバーインファレンス攻撃に必要であるのか、それとも安定的で過学習のないモデルでもプライバシー漏洩が生じ得るのか？
• RQ3 目的属性がモデル出力に与える影響は、属性インファレンス攻撃の成功にどのように影響するか？
• RQ4 メンバーインファレンス攻撃と属性インファレンス攻撃の関係は何か？また、一方を他方に還元できるか？
• RQ5 悪意ある学習アルゴリズムを設計することで、悪意あるモデルが良性モデルと区別がつかないが、メンバー情報漏洩を引き起こすモデルを生成できるか？

主な発見

• 過学習はメンバーインファレンス攻撃の十分条件であり、複数の実世界のデータセットにおいて、攻撃の精度が一般化誤差と強く相関している。
• 過学習はメンバーインファレンス攻撃に必要ではない：安定した学習アルゴリズムでさえ、共謀的攻撃者を介して過学習を示さないまま正確なメンバー情報漏洩を引き起こすことができる。
• 目的属性がモデル出力に与える影響は、特に過学習と組み合わせられた場合に、属性インファレンス攻撃の成功に重要な要因である。
• 形式的還元により、メンバーインファレンスと属性インファレンスの間に深い関連性があることが示され、一方の攻撃が他方の攻撃を支援または可能にすることが示唆された。
• モデルの信頼度スコアに基づくブラックボックスメンバーインファレンス攻撃は、計算コストが低く、仮定も少なくても、先行研究の最先端手法とほぼ同等の性能を示した。
• 特定の仮定のもとでメンバーインファレンス利得の理論的境界が導出され、任意の背景知識を持つ攻撃者でも、過学習を利用することで訓練データへの所属関係を推論可能であることが示された。