[논문 리뷰] Privacy Risk in Machine Learning: Analyzing the Connection to Overfitting

Samuel Yeom, Irene Giacomelli외 2명|arXiv (Cornell University)|2017. 09. 05.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 11

한 줄 요약

이 논문은 기계학습에서 과적합과 프라이버시 위험 간의 정확한 연결고리를 설정하며, 과적합이 여러 알고리즘에 걸쳐 회원성 추론 공격에 충분한 조건임을 입증한다. 또한 목표 속성과 모델 구조의 영향력이 과적합이 없는 모델에서도 프라이버시 누출을 가능하게 할 수 있음을 드러내어 일반화만으로도 프라이버시가 보장된다는 가정을 도전한다.

ABSTRACT

Machine learning algorithms, when applied to sensitive data, pose a distinct threat to privacy. A growing body of prior work demonstrates that models produced by these algorithms may leak specific private information in the training data to an attacker, either through the models' structure or their observable behavior. However, the underlying cause of this privacy risk is not well understood beyond a handful of anecdotal accounts that suggest overfitting and influence might play a role. This paper examines the effect that overfitting and influence have on the ability of an attacker to learn information about the training data from machine learning models, either through training set membership inference or attribute inference attacks. Using both formal and empirical analyses, we illustrate a clear relationship between these factors and the privacy risk that arises in several popular machine learning algorithms. We find that overfitting is sufficient to allow an attacker to perform membership inference and, when the target attribute meets certain conditions about its influence, attribute inference attacks. Interestingly, our formal analysis also shows that overfitting is not necessary for these attacks and begins to shed light on what other factors may be in play. Finally, we explore the connection between membership inference and attribute inference, showing that there are deep connections between the two that lead to effective new attacks.

연구 동기 및 목표

• 기계학습 모델에서 과적합, 영향력, 프라이버시 위험 간의 관계를 공식적으로 분석하는 것.
• 정확한 공식적 측정 기준을 사용해 회원성 및 속성 추론 공격에서의 프라이버시 우수성 정의 및 정량화하는 것.
• 과적합이 프라이버시 누출에 필수적이고 충분한 조건인지, 특히 블랙박스 환경에서 여부를 조사하는 것.
• 모델 구조와 영향력이 과적합이 없음에도 공격을 가능하게 하는 방식을 탐구하는 것.
• 악성 학습 규칙이 양호한 일반화를 보이지만 여전히 회원 정보를 누출하는 방식으로 알고리즘 대체를 통한 프라이버시 공격의 가능성을 입증하는 것.

제안 방법

• 공격자 정확도가 훈련 데이터와 테스트 데이터에서의 차이를 기반으로 한 회원성 및 속성 추론 우수성의 공식적 정의를 제안한다.
• 일반화 오차(과적합)를 기반으로 회원성 추론 우수성을 분석하며, 특정 조건 하에서 직접 비례 관계가 있음을 보여준다.
• 회원성 추론을 가능하게 하는 공모 공격자 및 학습 규칙($A^{ ext{C}}, ilde{ ext{A}}^{ ext{C}}$)의 이론적 구성 방법을 도입한다. 이는 안정적이고 과적합이 없는 모델에서도 작동한다.
• 딥 컨volution 네트워크를 사용해 실제 세계 데이터셋에서 과적합과 회원성 공격 성능 간의 관계를 경험적으로 검증한다.
• 정규화 및 모델 구조 제어를 통해 과적합과 영향력이 프라이버시 위험에 미치는 영향을 분리하여 분석한다.
• 목표 속성이 모델 출력에 미치는 영향력이 속성 추론 공격에서 핵심 요소임을 밝혀내며, 특히 과적합과 결합될 경우 더욱 두드러진다.

실험 결과

연구 질문

• RQ1 표준 기계학습 모델에서 과적합이 회원성 추론 공격 성공에 얼마나 기여하는가?
• RQ2 회원성 추론 공격를 위해 과적합이 필수적인가, 아니면 안정적이고 과적합이 없는 모델에서도 프라이버시 누출이 발생할 수 있는가?
• RQ3 목표 속성이 모델 출력에 미치는 영향력이 속성 추론 공격 성공에 어떻게 영향을 미치는가?
• RQ4 회원성 추론 공격와 속성 추론 공격 간의 관계는 무엇이며, 한 공격이 다른 공격으로 환원될 수 있는가?
• RQ5 악성 학습 알고리즘을 설계하여, 양호한 일반화를 보이지만 여전히 회원 정보를 누출하는 모델을 생성할 수 있는가?

주요 결과

• 과적합은 회원성 추론 공격에 충분한 조건이며, 다양한 실제 세계 데이터셋에서 공격 정밀도가 일반화 오차와 강하게 상관관계가 있음을 확인했다.
• 과적합은 회원성 추론 공격에 필수적이지 않다: 안정적인 학습 알고리즘이 공모 공격자와 결탁함으로써 과적합 없이도 정확한 회원 정보를 누출시킬 수 있다.
• 목표 속성이 모델 출력에 미치는 영향력은 속성 추론 공격에서 핵심 요소이며, 특히 과적합과 결합될 경우 더욱 두드러진다.
• 공식적 환원을 통해 회원성 추론과 속성 추론 간의 깊은 연결고리를 보여주며, 한 공격이 다른 공격에 영향을 줄 수 있음을 시사한다.
• 모델 신뢰도 점수를 기반으로 한 블랙박스 회원성 추론 공격가 이전 최고 성능의 방법과 거의 동일한 성능을 보였으며, 계산 오버헤드와 가정 수를 줄였다.
• 특정 가정 하에 회원성 우수성에 대한 이론적 경계를 유도하였으며, 임의의 배경 지식을 가진 공격자도 과적합을 악용해 훈련 소속을 추론할 수 있음을 보였다.