[논문 리뷰] Ultimate Power of Inference Attacks: Privacy Risks of Learning High-Dimensional Graphical Models

Sasi Kumar Murakonda, Reza Shokri외 1명|arXiv (Cornell University)|2019. 05. 29.

Privacy-Preserving Technologies in Data참고 문헌 5인용 수 3

한 줄 요약

이 논문은 특정 공격 또는 학습 데이터에 관계없이 고차원 확률적 그래픽 모델에 대한 소속성 추론 공격의 최대 전력에 대한 이론적 프레임워크를 제안한다. 모델 복잡도와 학습 데이터 크기를 함수로 하여 진짜 양성 비율의 날카운 상한을 유도함으로써, 내재된 프라이버시 유출을 정량화하고 위험을 줄이기 위한 모델 설계를 안내한다.

ABSTRACT

Models leak information about their training data. This enables attackers to infer sensitive information about their training sets, notably determine if a data sample was part of the model's training set. The existing works empirically show the possibility of these tracing (membership inference) attacks against complex models with a large number of parameters. However, the attack results are dependent on the specific training data, can be obtained only after the tedious process of training the model and performing the attack, and are missing any measure of the confidence and unused potential power of the attack. A model designer is interested in identifying which model structures leak more information, how adding new parameters to the model increases its privacy risk, and what is the gain of adding new data points to decrease the overall information leakage. The privacy analysis should also enable designing the most powerful inference attack. In this paper, we design a theoretical framework to analyze the maximum power of tracing attacks against high-dimensional models, with the focus on probabilistic graphical models. We provide a tight upper-bound on the power (true positive rate) of these attacks, with respect to their error (false positive rate). The bound, as it should be, is independent of the knowledge and algorithm of any specific attack, as well as the values of particular samples in the training set. It provides a measure of the potential leakage of a model given its structure, as a function of the structure complexity and the size of training set.

연구 동기 및 목표

• 고차원 모델에 대한 소속성 추론 공격의 최대 가능 전력에 대한 이론적 이해 부족을 해결하기 위해.
• 학습 데이터나 특정 공격 알고리즘에 관계없이 모델 구조의 내재적 프라이버시 위험을 정량화하기 위해.
• 모델 복잡도와 학습 데이터 크기가 정보 유출과 공격 가능성을 함께 어떻게 영향을 미치는지 측정하기 위해.
• 모델 설계자가 성능을 유지하면서 프라이버시 유출을 최소화하는 구조를 선택할 수 있도록 도와주기 위해.
• 어떤 추론 공격의 이론적 한계를 식별함으로써 가장 강력한 공격 설계를 가능하게 하기 위해.

제안 방법

• 정보 이론 원리를 사용하여 소속성 추론 공격의 진짜 양성 비율에 대한 이론적 상한을 유도한다.
• 상한을 모델 구조의 복잡도와 학습 데이터 크기의 함수로 기술하여 특정 데이터나 공격 방법에 관계없이 적용 가능하도록 한다.
• 현대 기계 학습에서 흔한 고차원 설정을 중심으로 확률적 그래픽 모델에 상한을 적용한다.
• 통계적 결정 이론을 사용하여 진짜 양성 비율과 거짓 양성 비율 사이의 최적 트레이드오프를 특성화한다.
• 상한이 날카롭고 보편적으로 적용 가능함을 입증하며, 공격자의 지식이나 알고리즘의 복잡도에 관계없이 성립함을 보장한다.
• 상한이 모델 아키텍처와 학습 데이터 크기에 기인한 내재된 최대 정보 유출을 반영함을 보여준다.

실험 결과

연구 질문

• RQ1 고차원 그래픽 모델에 대한 소속성 추론 공격의 이론적 최대 전력(진짜 양성 비율)은 무엇인가?
• RQ2 학습 데이터에 관계없이 모델 복잡도는 상한에 어떻게 영향을 미치는가?
• RQ3 학습 데이터 크기는 정보 유출과 공격 성공률의 상한에 어떻게 영향을 미치는가?
• RQ4 모든 추론 공격의 잠재적 최대를 반영할 수 있는 데이터에 의존하지 않는 보편적 상한을 도출할 수 있는가?
• RQ5 모델 설계자는 이 상한을 어떻게 활용하여 아키텍처 선택 시 프라이버시 위험을 최소화할 수 있는가?

주요 결과

• 논문은 특정 공격 알고리즘이나 학습 데이터에 관계없이, 소속성 추론 공격의 진짜 양성 비율에 대한 날카운 보편 상한을 확립한다.
• 상한은 오직 모델 구조의 복잡도와 학습 데이터 크기에만 의존하며, 내재된 프라이버시 유출의 이론적 측정 기준을 제공한다.
• 상한은 데이터가 충분하지 않으면서 모델 복잡도가 증가할수록 프라이버시 위험이 증폭됨을 드러내며, 학습 이전에도 해당 위험이 존재함을 시사한다.
• 이 프레임워크는 공격 전력의 이론적 한계를 규명하여, 어떤 공격이든 이 상한을 초과할 수 없음을 보여준다.
• 상한은 학습 이전에 다양한 아키텍처 간의 프라이버시 위험을 예측하고 비교할 수 있도록 해준다.
• 결과는 더 많은 학습 데이터를 추가할수록 공격 전력의 상한이 감소함을 보여주며, 데이터 규모가 프라이버시에 기여하는 바를 정량화한다.