[논문 리뷰] A General Framework for Auditing Differentially Private Machine Learning

Fred Lu, Joseph Muñoz외 6명|arXiv (Cornell University)|2022. 10. 16.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 기계학습 모델의 차별적 비밀보장(DP) 보장을 경험적으로 감사할 수 있는 일반적 프레임워크인 ML-Audit를 소개한다. 영향 기반 데이터 포isoning 공격와 다양한 모델에서의 비밀보장 손실 추정을 향상시키는 통계적 추정 방법을 조합함으로써, 기존 방법보다 수개의 차수 높은 감사 능력을 확보하여 로지스틱 회귀, 나이브 베이즈, 랜덤 포레스트의 DP 구현에서 구현 결함과 현실적인 비밀보장 유출을 모두 탐지한다.

ABSTRACT

We present a framework to statistically audit the privacy guarantee conferred by a differentially private machine learner in practice. While previous works have taken steps toward evaluating privacy loss through poisoning attacks or membership inference, they have been tailored to specific models or have demonstrated low statistical power. Our work develops a general methodology to empirically evaluate the privacy of differentially private machine learning implementations, combining improved privacy search and verification methods with a toolkit of influence-based poisoning attacks. We demonstrate significantly improved auditing power over previous approaches on a variety of models including logistic regression, Naive Bayes, and random forest. Our method can be used to detect privacy violations due to implementation errors or misuse. When violations are not present, it can aid in understanding the amount of information that can be leaked from a given dataset, algorithm, and privacy specification.

연구 동기 및 목표

• 차별적 비밀보장 기반 기계학습 모델에서 실제 세계의 비밀보장 누출을 평가할 수 있는 실용적 도구의 부족을 해결하기 위해.
• 특정 아키텍처(예: 신경망)를 초월해 다양한 기계학습 모델에 적용 가능한 일반 목적의 감사 프레임워크를 개발하기 위해.
• 기존 방법의 한계(예: 높은 재학습 비용, 약한 공격 전략)를 극복하여 비밀보장 감사의 통계적 능력을 향상시키기 위해.
• DP 기계학습 시스템에서의 구현 오류나 잘못된 설정으로 인한 실제 비밀보장 침해를 탐지하기 위해.
• 실제 비밀보장 위험을 정확히 추정할 수 있는 신뢰할 수 있는 방법을 제공하여 DP 매개변수 ε와 δ의 보다 우수한 선택을 유도하기 위해.

제안 방법

• 주어진 모델에서 비밀보장 손실을 최대화하는 영향 기반 데이터 포isoning 공격를 설계하여, 이웃하는 데이터셋 D와 D′를 생성하기 위해.
• Bichsel 등과 Jagielski 등의 통계 프레임워크를 확장하여 일반 모델 요약 통계 τ에 대한 가능도를 모델링함으로써 더 작은 표본 크기로 ε를 추정하기 위해.
• 모델 민감도와 가장 잘 일치하는 요약 통계 τ(예: 클래스 사전 확률, 평균, 분산)를 타겟으로 하여 공격를 최적화하기 위해.
• 모델 출력의 몬테카를로 샘플링을 사용하여 비밀보장 손실을 추정하고, 개선된 경계와 분산 감소 기법을 적용하기 위해.
• 실제 구현 사례(예: diffprivlib의 나이브 베이즈 및 DP 랜덤 포레스트)에 프레임워크를 적용하여 설정 오류 및 노출 결함을 탐지하기 위해.
• 공격 및 추정 구성 요소를 통합된 파ip라인으로 통합하여 임의의 기계학습 모델과 DP 메커니즘을 지원하기 위해.

실험 결과

연구 질문

• RQ1 특수한 케이스(예: 딥 네트워크)를 초월해 다양한 기계학습 모델의 차별적 비밀보장을 효과적으로 감사할 수 있는 일반 목적의 프레임워크가 존재하는가?
• RQ2 데이터 포isoning 공격 전략의 선택이 비밀보장 감사의 통계적 능력에 어떤 영향을 미치는가?
• RQ3 DP 기계학습 라이브러리에서의 구현 오류(예: 내부 통계 노출)가 이론적 비밀보장 보장에 얼마나 심각하게 영향을 미치는가?
• RQ4 데이터셋 분포가 실질적으로 달성 가능한 비밀보장 유출에 어떤 영향을 미치며, 이를 정량화할 수 있는가?
• RQ5 이론적 DP 정의(예: 단일 행 추가 대비 수정)와 실제 구현 간의 괴리 여부를 프레임워크가 탐지할 수 있는가?

주요 결과

• ML-Audit 프레임워크는 기존 방법보다 수개의 차수 높은 감사 능력을 확보하여 비밀보장 침해 탐지 능력이 크게 향상되었다.
• 비구형 데이터셋에서 영향 기반 공격는 ClipBKD와 같은 표준 변형 방법보다 우수한 성능을 보였는데, 이는 모델 민감도와 더 잘 일치하기 때문이다.
• diffprivlib의 나이브 베이즈 구현에서 노출된 클래스 수를 통해 훈련 데이터를 완전히 재구성할 수 있는 심각한 비밀보장 유출을 탐지하였다. 이는 모든 비밀보장 보장을 무효화시켰다.
• DP 랜덤 포레스트의 경우, 의도한 것보다 더 엄격한 이웃 정의를 사용하여 이론적 경계의 두 배에 달하는 비밀보장 손실을 초래하는 것으로 밝혀졌다.
• FMNIST와 CIFAR10에서 샤페론 공격는 일부 케이스에서 ClipBKD를 능가했고, 추가 τ 정보를 포함한 수정된 ClipBKD는 중간 정도의 성능 향상을 보였다.
• 프레임워크는 실제 비밀보장 유출가 이론적 경계 이하일 수 있음을 보여주었지만, 구현 결함로 인해 알고리즘이 수학적으로 타당하더라도 침해가 발생할 수 있음을 입증하였다.