[논문 리뷰] Privacy Auditing with One (1) Training Run

Thomas Steinke, Milad Nasr외 1명|arXiv (Cornell University)|2023. 05. 15.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

단일 학습 실행에서 m개의 auditing 예시를 뒤집고 포함 여부를 추측함으로써 DP 매개변수의 하한을 도출하는 프라이버시 감사 체계를 제안한다. 거의 최적에 가까운 경계들을 시연하고 CIFAR-10에서 WideResNet을 사용한 DP-SGD로 검증한다.

ABSTRACT

We propose a scheme for auditing differentially private machine learning systems with a single training run. This exploits the parallelism of being able to add or remove multiple training examples independently. We analyze this using the connection between differential privacy and statistical generalization, which avoids the cost of group privacy. Our auditing scheme requires minimal assumptions about the algorithm and can be applied in the black-box or white-box setting.

연구 동기 및 목표

• 형식적인 DP 증명의 보완으로서 실용적인 프라이버시 감사를 촉진한다.
• 데이터 포인트의 독립적 포함/미포함을 활용하는 단일 실행 감사 프레임워크를 개발한다.
• 그룹 프라이버시에 의존하지 않고 일반화와 DP를 연결하여 거의 타이트한 감사 경계를 얻는다.
• 실제 DP-SGD 학습에 감사 프레임워크를 검증하여 DP 보장의 타이트함을 평가한다.

제안 방법

• m개 auditing 예제(canaries)를 선택하고 독립적인 동전을 이용해 포함 여부를 무작위화하는 감사 절차를 도입한다.
• 무작위로 선택된 데이터 세트에서 학습 알고리즘을 실행하고 각 canary에 대한 점수를 계산한다.
• 점을 후처리하여 포함/비포함에 대한 추측으로 바꿔 W의 올바른 추측 수를 상한한다.
• DP 보장을 사용해 올바른 추측의 분포를 이항 모델로 상한하고 ε의 하한을 도출한다.
• DP와 일반화를 연결하는 이론적 분석을 개발하여 단일 실행에서 m개의 독립 데이터 포인트를 다루는 것이 본질적으로 m개의 독립 실행에 해당함을 정당화한다.
• 관찰된 추측 정확도가 신뢰도로 ε의 하한을 산출하는 방법을 보이는 형식적 정리들을 제공한다(주요 결과를 Theorem 5.2에 포함).

Figure 1: Theorem 5.2 ’s p-value as the number of correct guesses changes for fixed $\varepsilon=\log 3$ (i.e., ideally 75% of guesses correct). The total number of examples and guesses is 100.

실험 결과

연구 질문

• RQ1 프라이버시 감사가 여러 번의 실행이 아니라 단일 학습 실행에서 수행될 수 있는가?
• RQ2 다수의 데이터 포인트에 대한 독립적 무작위화를 어떻게 활용하여 그룹 프라이버시에 의존하지 않고 DP 매개변수를 상한할 수 있는가?
• RQ3 감사 맥락에서 DP 보장과 일반화 간의 관계는 무엇인가?
• RQ4 실제로 DP-SGD에 적용했을 때 감사 경계가 얼마나 타이트한가?

주요 결과

• 단일 학습 실행으로 감사하면 canaries의 올바른 추측 비율을 분석하여 ε의 경험적 하한을 산출한다.
• 이 방법은 ε ≥ 1.8의 경험적 하한을 달성했고, 화이트박스 설정에서 이론적 상한은 ε ≤ 4이다.
• canaries가 모델 정확도에 미치는 영향은 작으며(5% 미만), 단일 학습 실행에서의 감사 가능성을 제공합니다.
• 올바른 추측에 대한 이항 모델은 순수 DP 케이스에서 타이트하며 DP 제약 하의 최악의 경우 감사 경계를 확립한다.
• 감사 프레임워크는 화이트박스와 블랙박스 환경 모두에 적용 가능하며 DP 하의 사후처리 불변성을 활용한다.

Figure 2: Lower bound on the privacy parameter $\varepsilon$ given by Theorem 5.2 with 95% confidence as the number of correct guesses changes. The total number of examples and guesses is 100. For comparison, we plot the ideal $\varepsilon$ that gives $100\cdot\frac{e^{\varepsilon}}{e^{\varepsilon}+