[論文レビュー] The Unintended Consequences of Overfitting: Training Data Inference Attacks.

Samuel Yeom, Matt Fredrikson+1 more|arXiv (Cornell University)|Sep 5, 2017

Adversarial Robustness in Machine Learning被引用数 20

ひとこと要約

本稿は、機械学習モデルにおける過学習と特徴の影響が、メンバーシップ推定攻撃およびモデル逆転攻撃を可能にする仕組みを調査する。過学習がメンバーシップ推定攻撃を可能にする十分条件であることを示し、特定の影響条件のもとでモデル逆転攻撃も可能になることが明らかになった。これは、攻撃タイプとその関連性の深い関係を示しており、過学習以外の要因がプライバシー漏洩に寄与することを特定した。

ABSTRACT

Machine learning algorithms that are applied to sensitive data pose a distinct threat to privacy. A growing body of prior work demonstrates that models produced by these algorithms may leak specific private information in the training data to an attacker, either through their structure or their observable behavior. However, the underlying cause of this privacy risk is not well understood beyond a handful of anecdotal accounts that suggest overfitting and influence might play a role. This paper examines the effect that overfitting and influence have on the ability of an attacker to learn information about training data from machine learning models, either through training set membership inference or model inversion attacks. Using both formal and empirical analyses, we illustrate a clear relationship between these factors and the privacy risk that arises in several popular machine learning algorithms. We find that overfitting is sufficient to allow an attacker to perform membership inference, and when certain conditions on the influence of certain features are present, model inversion attacks. Interestingly, our formal analysis also shows that overfitting is not necessary for these attacks, and begins to shed light on what other factors may be in play. Finally, we explore the connection between two types of attack, membership inference and model inversion, and show that there are deep connections between the two that lead to effective new attacks.

研究の動機と目的

• 機械学習モデルが機密データを学習する際のプライバシー漏洩の根本的要因を理解すること。
• 過学習と特徴の影響がメンバーシップ推定攻撃およびモデル逆転攻撃を可能にする役割を調査すること。
• このような攻撃に過学習が必須であるかどうか、あるいは他の要因がプライバシーリスクに寄与するかを特定すること。
• メンバーシップ推定攻撃とモデル逆転攻撃の間の関連性を明らかにし、協調的攻撃戦略を同定すること。

提案手法

• 機械学習モデルにおける過学習、特徴の影響、プライバシー漏洩の関係を形式的分析すること。
• 複数の一般的な機械学習アルゴリズムを対象に、メンバーシップ推定攻撃およびモデル逆転攻撃の実証的評価を行うこと。
• 成功するモデル逆転攻撃を可能にする特徴の影響に関する特定の条件を同定すること。
• 過学習度と影響度の変動を想定し、攻撃効果を比較することで因果要因を隔離すること。
• メンバーシップ推定攻撃とモデル逆転攻撃を統合的に分析・接続するフレームワークの構築

実験結果

リサーチクエスチョン

• RQ1 過学習は、機械学習モデルに対するメンバーシップ推定攻撃をどの程度可能にするか？
• RQ2 特徴の影響に関するどのような条件下でモデル逆転攻撃が実現可能になるか？
• RQ3 メンバーシップ推定またはモデル逆転によるプライバシー漏洩において、過学習は必須条件か？
• RQ4 メンバーシップ推定攻撃とモデル逆転攻撃を結びつける構造的または行動的特性は何か？
• RQ5 これらの2つの攻撃タイプの関連性を活用して、より効果的なプライバシー攻撃を設計できるか？

主な発見

• 過学習は、他の要因が存在しない状況でもメンバーシップ推定攻撃を可能にする十分条件である。
• 特定の特徴の影響条件を満たす場合、モデル逆転攻撃は実現可能である。これは、影響のダイナミクスが極めて重要な役割を果たすことを示している。
• 過学習はプライバシー攻撃のための必須条件ではない。他のモデル特性も漏洩に寄与していることが示唆された。
• メンバーシップ推定攻撃とモデル逆転攻撃の間には、深い構造的・行動的関連性が存在し、ハイブリッド攻撃戦略の実現が可能である。
• 形式的分析により、プライバシーリスクが記憶（memorization）に限定されるのではなく、特徴がモデルの挙動と出力にどのように影響を与えるかにも関連していることが明らかになった。