[논문 리뷰] Debugging Differential Privacy: A Case Study for Privacy Auditing

Florian Tramèr, Andreas Terzis외 4명|arXiv (Cornell University)|2022. 02. 24.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 미분적 비밀유지 기계학습 시스템의 구현 버그를 실증적으로 측정한 하한선을 통해 비밀성 감사가 이를 탐지할 수 있음을 보여준다. 비밀성 파rameter ε의 하한선을 측정함으로써, 저자들은 백프로파게이션 클리핑의 오픈소스 구현을 사례 연구로 분석하여, 배치 크기와 관련된 기울기 민감도 계산의 심각한 오류로 인해 실제 ε가 주장된 0.21보다 10배 이상 높은 2.79를 초과함을 99.99999999% 신뢰도로 확인하였다.

ABSTRACT

Differential Privacy can provide provable privacy guarantees for training data in machine learning. However, the presence of proofs does not preclude the presence of errors. Inspired by recent advances in auditing which have been used for estimating lower bounds on differentially private algorithms, here we show that auditing can also be used to find flaws in (purportedly) differentially private schemes. In this case study, we audit a recent open source implementation of a differentially private deep learning algorithm and find, with 99.99999999% confidence, that the implementation does not satisfy the claimed differential privacy guarantee.

연구 동기 및 목표

• 형식적 증명이 정확하게 보이더라도, 비밀성 감사가 미분적 비밀유지 기계학습 시스템의 구현 결함을 탐지할 수 있음을 보여주기 위해.
• 백프로파게이션 클리핑 알고리즘의 특정 구현 오류를 특정하고 진단하여, 이로 인해 주장된 비밀성 보장이 무너지는 이유를 밝혀내기 위해.
• DP 기계학습 개발 과정에서 비밀성 감사를 routine debugging 도구로 사용할 것을 권장하기 위해.
• 향후 구현에서 유사한 버그를 탐지하고 방지하기 위한 실용적 권고 사항을 제공하기 위해.
• 이론적 기여와 함께 코드를 공개하는 것이 재현성과 감사 가능성 확보에 중요하다는 점을 강조하기 위해.

제안 방법

• MNIST 데이터셋에 한 개의 이미지를 추가하거나 제거한 두 개의 데이터셋에서 각각 100,000개의 모델을 훈련시켜 회원성 추론 공격을 수행한다.
• 공격의 TPR/FPR 비율을 사용하여 클로퍼-피어슨 신뢰구간을 적용해 비밀성 파rameter ε의 실증적 하한선을 추정한다.
• 최적의 식별 경계를 찾기 위해 임계값 τ를 체계적으로 변동시켜 TPR/FPR 비율을 최대화한다.
• 구현 코드를 분석하여 비밀성 누출의 근본 원인을 기울기 클리핑과 노이즈 보정에 초점을 맞춰 분석한다.
• 삼각부등식을 기반으로 한 단순 검증을 수행: 배치 기울기의 노름은 |B| × 주장된 민감도를 초과할 수 없다.
• 개별 예측 기울기 기반 이론적 민감도와, 구현에서 잘못된 방식으로 |B|를 두 번 나누어 계산한 민감도를 비교한다.

실험 결과

연구 질문

• RQ1 형식적 증명이 정확한 경우에도 비밀성 감사가 미분적 비밀유지 기계학습 시스템의 구현 버그를 탐지할 수 있는가?
• RQ2 백프로파게이션 클리핑에서 어떤 특정한 구현 오류가 주장된 비밀성 보장에서 크게 이격되는가?
• RQ3 배치 크기가 미분적 비밀유지 학습에서 기울기 민감도에 어떤 영향을 미치며, 구현에서 일반적으로 어디서 잘못되는가?
• RQ4 개발 라이프사이클의 조기에 이러한 버그를 탐지하기 위해 어떤 실용적 점검을 사용할 수 있는가?
• RQ5 오픈소스 코드의 가용성이 효과적인 비밀성 감사 및 검증에 얼마나 기여하는가?

주요 결과

• 감사 결과, 실제 비밀성 파rameter ε가 99.99999999% 신뢰도로 2.79를 초과함을 확인하였으며, 이는 주장된 (0.21, 10⁻⁵) 보장보다 훨씬 높다.
• 구현에서 기울기 민감도가 배치 크기 |B|의 영향을 받아 잘못 줄어들어 노이즈 추가가 부족해진다.
• 오류는 개별 예측 기울기를 |B|로 나눈 후, 민감도 계산에서 다시 |B|로 나누는 방식으로 발생한다.
• 삼각부등식 기반 단순 검증은 원본 구현에서는 실패하지만, 민감도를 C₁·C₂에서 C₁·C₂/|B|로 잘못 계산하는 대신 C₁·C₂로 수정하면 통과된다.
• 이 버그는 이전에도 다른 DP 구현에서 관찰된 알려진 유형의 오류로, 체계적 검증의 필요성을 강조한다.
• 백프로파게이션 클리핑의 저자들은 결함을 인정하고, 이론적 보장을 충족시키기 위해 노이즈를 |B| 배수로 증가시키기 위해 구현을 수정할 예정이다.