[논문 리뷰] Antipodes of Label Differential Privacy: PATE and ALIBI

Mani Malek, Ilya Mironov외 3명|arXiv (Cornell University)|2021. 06. 07.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 8

한 줄 요약

이 논문은 기계 학습에서 레이블 전용 차별적 프라이버시를 위한 두 가지 새로운 접근법—ALIBI(반복 베이지안 추론을 통한 덧셈 라플라스 노이즈)와 PATE-FM(PATE와 FixMatch를 활용한 준지도 학습)—을 제안한다. ALIBI는 원-핫 인코딩된 레이블에 라플라스 노이즈를 추가하고 모델의 예측 결과를 사전으로 사용해 베이지안 추론을 통해 노이즈를 제거한다. 반면 PATE-FM은 비공개 데이터에서 레이블을 제거해 생성한 공개된 비라벨 데이터셋을 활용하고, 준지도 학습 기법을 적용한다. 주요 발견은 이론적 프라이버시 보장이 훨씬 약한 PATE-FM가 ALIBI보다 훨씬 강력한 실질적 프라이버시를 제공한다는 점으로, 이는 이론적 보장과 실제 메모리화 위험 사이에 심각한 격차가 있음을 시사한다.

ABSTRACT

We consider the privacy-preserving machine learning (ML) setting where the trained model must satisfy differential privacy (DP) with respect to the labels of the training examples. We propose two novel approaches based on, respectively, the Laplace mechanism and the PATE framework, and demonstrate their effectiveness on standard benchmarks. While recent work by Ghazi et al. proposed Label DP schemes based on a randomized response mechanism, we argue that additive Laplace noise coupled with Bayesian inference (ALIBI) is a better fit for typical ML tasks. Moreover, we show how to achieve very strong privacy levels in some regimes, with our adaptation of the PATE framework that builds on recent advances in semi-supervised learning. We complement theoretical analysis of our algorithms' privacy guarantees with empirical evaluation of their memorization properties. Our evaluation suggests that comparing different algorithms according to their provable DP guarantees can be misleading and favor a less private algorithm with a tighter analysis. Code for implementation of algorithms and memorization attacks is available from https://github.com/facebookresearch/label_dp_antipodes.

연구 동기 및 목표

• 온라인 광고나 수직 분할 데이터와 같이 레이블만 민감한 상황에서 레이블 전용 차별적 프라이버시가 필요한 요구를 해결하기 위해.
• 강력한 프라이버시-유용성 트레이드오프를 달성하는 두 가지 새로운 메커니즘—ALIBI와 PATE-FM—을 제안하기 위해.
• 이론적 DP 한계에만 의존하는 것과는 반대로, 캐니의 레이블을 대상으로 한 멤버십 인식 공격을 통해 실질적 프라이버시 손실을 경험적으로 추정함으로써, 이론적 보장과 실제 메모리화 위험 간의 격차를 도전하기 위해.
• 이론적 프라이버시 한계가 잘못된 선택을 유도할 수 있음을 입증하기 위해, 더 강력한 분석을 통해 더 적은 프라이버시를 제공하는 알고리즘가 더 나은 이론적 한계를 갖는 경우가 있다는 점을 보여주기 위해.
• 이론적 프라이버시 보장과 실질적 프라이버시 손실 사이의 격을 메우기 위해, 확장 가능하고 트레이너에 종속되지 않는 메모리화 공격 기법을 도입하기 위해.

제안 방법

• ALIBI는 원-핫 인코딩된 레이블에 덧셈 라플라스 노이즈를 주입하고, 모델의 자체 예측 결과를 사전으로 사용해 반복적 베이지안 추론을 수행하여 출력을 노이즈 제거한다.
• PATE-FM은 비공개 데이터셋의 비라벨 부분을 공개 비라벨 데이터셋으로 간주하여 PATE 프레임워크를 변형하고, 앙상블 모델 집합을 통해 레이블 DP를 실현한다.
• 이 방법은 최신 준지도 학습 기법인 FixMatch를 활용하여, 레이블 DP 제약 조건 하에서 정확도와 일반화 성능을 향상시킨다.
• 단일 모델에 여러 개의 캐니(잘못 레이블링된 예시)를 삽입하고 공격 성공률을 효율적으로 추정하기 위한 새로운 히우리스틱 기법이 도입된다. 이는 재학습의 고비용을 피하기 위한 것이다.
• 블랙박스 멤버십 인식 공격를 사용하여, 캐니 레이블을 추측하는 데 성공한 비율을 측정함으로써 실질적 프라이버시 손실을 추정하고, 프라이버시 파rameter ε의 하한을 제공한다.
• 이론적 프라이버시 보장은 차별적 프라이버시의 조합 및 후처리 정리에 기반하여 유도되며, 두 방법 모두 (ε, δ)-DP 한계를 도출한다.

실험 결과

연구 질문

• RQ1 반복 베이지안 추론을 통한 덧셈 라플라스 노이즈(ALIBI)가 고프라이버시 환경에서 랜덤라이즈드 리스폰스보다 레이블 전용 차별적 프라이버시에서 더 우수한 성능을 보일 수 있는가?
• RQ2 비공개 데이터에서 레이블을 제거해 생성한 공개 비라벨 데이터셋을 활용해 레이블 DP에 적합하게 PATE 프레임워크를 변형할 경우, 다른 레이블 DP 메커니즘보다 더 강력한 실질적 프라이버시를 제공하는가?
• RQ3 이론적 (ε, δ)-DP 한계와 멤버십 인식 공격로 측정한 실질적 프라이버시 손실 간의 상관관계는 어느 정도인가?
• RQ4 다중 캐니를 한 번의 모델에 삽입해 재학습 없이도 실질적 프라이버시 손실을 효율적으로 추정할 수 있는가?
• RQ5 이론적 프라이버시 한계가 훨씬 더 느슨한데도 불구하고 PATE-FM이 ALIBI보다 실질적으로 훨씬 낮은 메모리화 수준을 보이는 이유는 무엇인가?

주요 결과

• PATE-FM는 이론적 (ε, δ)-DP 한계보다 실질적 프라이버시 손실(εₘ)이 최대 3개 지수 정도 낮게 나타나, 레이블 메모리화에 매우 강한 저항성을 보임을 시사한다.
• ALIBI의 실질적 프라이버시 손실은 이론적 상한선 근처에 위치해 있어, 분석이 거의 날카로운 수준임을 시사한다.
• ALIBI의 이론적 프라이버시 한계보다 100배 이상 느슨한 이론적 한계를 지닌 PATE-FM는 캐니에 대한 멤버십 인식 공격로 측정한 실질적 프라이버시에서 훨씬 강력한 성능을 보였다.
• ALIBI의 공격 성공률은 특히 고신뢰도 케이스에서 PATE-FM보다 뚜렷하게 높아, ALIBI가 레이블 복구에 더 취약함을 확인한다.
• ALIBI는 SGD와 같은 반복적 학습 절차와 모두 호환되며 더 유연한 반면, PATE-FM는 준지도 학습이 필요하고 그러한 방법이 적용 가능한 작업에 국한된다.
• 본 연구는 이론적 DP 한계와 실질적 프라이버시 간에 심각한 괴리가 있음을 드러내며, 이론적 한계만으로는 프라이버시 보장 알고리즘을 선택하는 데 오류를 범할 수 있음을 시사한다.