[논문 리뷰] ML Privacy Meter: Aiding Regulatory Compliance by Quantifying the Privacy Risks of Machine Learning

Sasi Kumar Murakonda, Reza Shokri|arXiv (Cornell University)|2020. 07. 18.

Privacy-Preserving Technologies in Data참고 문헌 7인용 수 38

한 줄 요약

ML Privacy Meter는 멤버십 추론 공격을 사용하여 ML 모델의 학습 데이터에 대한 프라이버시 위험을 정량화하고 DPIA 및 규제 준수를 돕습니다.

ABSTRACT

When building machine learning models using sensitive data, organizations should ensure that the data processed in such systems is adequately protected. For projects involving machine learning on personal data, Article 35 of the GDPR mandates it to perform a Data Protection Impact Assessment (DPIA). In addition to the threats of illegitimate access to data through security breaches, machine learning models pose an additional privacy risk to the data by indirectly revealing about it through the model predictions and parameters. Guidances released by the Information Commissioner's Office (UK) and the National Institute of Standards and Technology (US) emphasize on the threat to data from models and recommend organizations to account for and estimate these risks to comply with data protection regulations. Hence, there is an immediate need for a tool that can quantify the privacy risk to data from models. In this paper, we focus on this indirect leakage about training data from machine learning models. We present ML Privacy Meter, a tool that can quantify the privacy risk to data from models through state of the art membership inference attack techniques. We discuss how this tool can help practitioners in compliance with data protection regulations, when deploying machine learning models.

연구 동기 및 목표

• 전통적 보안 위협을 넘어 ML 모델로부터 발생하는 프라이버시 위험을 평가할 필요성을 제고한다.
• 모델 예측과 파라미터를 통해 간접적인 데이터 누수를 측정하는 정량적 도구를 제안한다.
• 위험 평가 및 완화 결정에 정보를 제공하여 도구가 규제 준수를 지원하는 방법을 제시한다.

제안 방법

• 블랙박스, 화이트박스 등 다양한 접근 가정하에서 프라이버시 위험을 평가하기 위해 멤버십 추론 공격 기술을 구현한다.
• 멤버와 비멤버의 공격 출력 분포를 비교하여 학습 기록에 대한 위험 점수를 계산한다.
• ROC 곡선을 사용해 공격자의 성공을 정량화하고 집계 프라이버시 위험 척도(곡선 아래 면적)를 도출한다.
• 레코드 간 및 접근 수준(예측만 vs 예측+파라미터) 간 위험을 비교하는 상세한 프라이버시 보고서를 생성한다.
• 완화 전략에 대한 지침을 제공하고 실제로 차등 프라이버시 매개변수(epsilon)의 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 멤버십 추론 공격을 사용하여 ML 모델의 학습 데이터에 대한 프라이버시 위험을 어떻게 정량화할 수 있는가?
• RQ2 접근 수준(블랙박스 vs 화이트박스)이 추정된 프라이버시 위험에 어떤 영향을 미치는가?
• RQ3 도구가 유용성과 프라이버시의 균형을 맞추기 위한 완화 전략과 프라이버시 매개변수 선택에 도움이 될 수 있는가?

주요 결과

• 도구는 멤버십 추론 공격 성공을 통해 프라이버시 위험을 정량화하며, ROC 곡선을 사용해 진양성/위양성 사이의 균형을 나타낸다.
• 모든 학습 기록에 대한 프라이버시 위험 점수를 제공하고 클래스 간 비교를 가능하게 한다.
• 다른 접근 모드(블랙박스 vs 화이트박스)로 프라이버시 위험 평가를 가능하게 하며, 집계 및 개별 레코드 수준의 보고를 지원한다.
• ML Privacy Meter는 실질적인 완화 조치를 안내하고 고위험 데이터 레코드를 식별함으로써 DPIA에 정보를 제공할 수 있다.
• 이 프레임워크는 차등 프라이버시 보장을 탐색하고 각 epsilon에서 위험을 측정해 epsilon 값을 선택하는 것을 지원한다.