[논문 리뷰] The Unintended Consequences of Overfitting: Training Data Inference Attacks.

Samuel Yeom, Matt Fredrikson외 1명|arXiv (Cornell University)|2017. 09. 05.

Adversarial Robustness in Machine Learning인용 수 20

한 줄 요약

이 논문은 기계학습 모델에서 과적합과 특성 영향력이 멤버십 인식 및 모델 역행 공격을 가능하게 하는 방식을 조사한다. 과적합이 멤버십 인식 공격을 위해 충분함을 보이며, 특정 영향 조건 하에서는 모델 역행 공격을 가능하게 하여 공격 유형 간의 깊은 연관성을 드러내고, 과적합이 아닌 요소들도 개인정보 유출에 기여함을 규명한다.

ABSTRACT

Machine learning algorithms that are applied to sensitive data pose a distinct threat to privacy. A growing body of prior work demonstrates that models produced by these algorithms may leak specific private information in the training data to an attacker, either through their structure or their observable behavior. However, the underlying cause of this privacy risk is not well understood beyond a handful of anecdotal accounts that suggest overfitting and influence might play a role. This paper examines the effect that overfitting and influence have on the ability of an attacker to learn information about training data from machine learning models, either through training set membership inference or model inversion attacks. Using both formal and empirical analyses, we illustrate a clear relationship between these factors and the privacy risk that arises in several popular machine learning algorithms. We find that overfitting is sufficient to allow an attacker to perform membership inference, and when certain conditions on the influence of certain features are present, model inversion attacks. Interestingly, our formal analysis also shows that overfitting is not necessary for these attacks, and begins to shed light on what other factors may be in play. Finally, we explore the connection between two types of attack, membership inference and model inversion, and show that there are deep connections between the two that lead to effective new attacks.

연구 동기 및 목표

• 민감한 데이터로 훈련된 기계학습 모델에서 개인정보 유출의 근본 원인을 이해하기 위해.
• 과적합과 특성 영향력이 멤버십 인식 및 모델 역행 공격를 가능하게 하는 역할을 조사하기 위해.
• 과적합이 이러한 공격을 위해 필수적인 조건인지, 아니면 다른 요소들이 개인정보 유출 위험에 기여하는지 판단하기 위해.
• 멤버십 인식 공격와 모델 역행 공격 간의 연결 고리를 탐색하고 상호보완적 공격 전략을 규명하기 위해.

제안 방법

• 기계학습 모델에서 모델 과적합, 특성 영향력, 개인정보 유출 간의 관계에 대한 공식적 분석.
• 다양한 인기 있는 기계학습 알고리즘을 대상으로 한 멤버십 인식 및 모델 역행 공격의 실증적 평가.
• 성공적인 모델 역행 공격를 가능하게 하는 특성 영향력에 대한 특정 조건 규명.
• 과적합 및 영향력의 정도가 다양할 때 공격 효과성을 비교하여 인과적 요인을 분리하기 위해.
• 멤버십 인식 및 모델 역행 공격를 분석하고 연결하는 통합 프레임워크 개발.

실험 결과

연구 질문

• RQ1 과적합은 기계학습 모델에서 멤버십 인식 공격를 어느 정도 가능하게 하는가?
• RQ2 특성 영향력에 대해 어떤 조건이면 모델 역행 공격가 가능해지는가?
• RQ3 멤버십 인식 또는 모델 역행을 통한 개인정보 유출을 위해 과적합이 필수적인 조건인가?
• RQ4 멤버십 인식 공격와 모델 역행 공격 간의 구조적 또는 행동적 특성은 무엇인가?
• RQ5 이 둘 간의 연결 고리를 활용하여 더 효과적인 개인정보 유출 공격 전략을 설계할 수 있는가?

주요 결과

• 과적합은 다른 식별 가능한 요소가 없더라도 멤버십 인식 공격를 가능하게 하는 데 충분하다.
• 특정 조건의 특성 영향력이 충족되면 모델 역행 공격가 가능해지며, 이는 영향력 역학이 핵심적인 역할을 함을 시사한다.
• 과적합은 개인정보 공격를 위해 필수적인 조건이 아니며, 이는 다른 모델 특성이 개인정보 유출에 기여함을 시사한다.
• 멤버십 인식 공격와 모델 역행 공격 간에는 깊은 구조적 및 행동적 연결 고리가 존재하여 하이브리드 공격 전략을 가능하게 한다.
• 공식적 분석을 통해 개인정보 유출 위험이 암기 현상에만 국한되지 않고, 특성이 모델 행동과 출력 방식에 어떻게 영향을 주는지에 대해서도 기인함을 규명했다.