[논문 리뷰] Does Label Differential Privacy Prevent Label Inference Attacks?

Ruihan Wu, Jin Zhou외 2명|arXiv (Cornell University)|2022. 02. 25.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 절대적 정확도가 아니라 베이즈 분류기 대비 우연의 우수도를 성공 기준으로 재정의함으로써, 레이블-차별적 비밀유지(label-DP) 모델이 여전히 레이블 추론 공격(LIA)에 취약할 수 있다는 역설을 해결한다. 이는 ε 매개변수를 가진 레이블-DP가 이 우수도를 $1 - \frac{2}{1 + e^{\varepsilon}}$로 제한함을 증명하며, ε이 작을 경우 심지어 높은 훈련 정확도라도 비밀 레이블 泄露가 일어나지 않음을 보여준다. 이 이론적 경계는 Criteo 1TB 클릭 로그를 포함한 합성 및 실세계 데이터셋에서 실험적으로 검증되었다.

ABSTRACT

Label differential privacy (label-DP) is a popular framework for training private ML models on datasets with public features and sensitive private labels. Despite its rigorous privacy guarantee, it has been observed that in practice label-DP does not preclude label inference attacks (LIAs): Models trained with label-DP can be evaluated on the public training features to recover, with high accuracy, the very private labels that it was designed to protect. In this work, we argue that this phenomenon is not paradoxical and that label-DP is designed to limit the advantage of an LIA adversary compared to predicting training labels using the Bayes classifier. At label-DP $ε=0$ this advantage is zero, hence the optimal attack is to predict according to the Bayes classifier and is independent of the training labels. Our bound shows the semantic protection conferred by label-DP and gives guidelines on how to choose $\varepsilon$ to limit the threat of LIAs below a certain level. Finally, we empirically demonstrate that our result closely captures the behavior of simulated attacks on both synthetic and real world datasets.

연구 동기 및 목표

• 강력한 개인정보 보호 보장을 제공함에도 불구하고 레이블-차별적 비밀유지(label-DP) 모델이 레이블 추론 공격(LIA)에 취약할 수 있는 이면의 역설을 해결하기 위해.
• 절대 예측 정확도가 아니라 베이즈 분류기 대비 공격자의 우수도를 측정함으로써 레이블 추론 공격(LIA)의 평가 기준을 재정의하기 위해.
• 레이블-DP 하에서 어떤 LIA 공격자도 얻을 수 있는 우수도에 대한 날카운 상한선을 유도하고, 이를 직접적으로 비밀유지 매개변수 ε와 연결하기 위해.
• 합성 및 실세계 데이터셋(예: Criteo 1TB 클릭 로그 데이터셋 포함)에서 이론적 경계를 실험적으로 검증하기 위해.
• 실세계 응용에서 LIA 위험을 원하는 임계값 이하로 제한하기 위해 ε를 선택하는 데 실용적인 지침을 제공하기 위해.

제안 방법

• 절대 정확도가 아니라, 훈련 레이블과 무관한 베이즈 분류기 대비 우수도를 레이블 추론 공격(LIA)의 성공 기준으로 정의한다.
• ε-레이블-DP 학습자가 LIA 공격자의 우수도를 $1 - \frac{2}{1 + e^{\varepsilon}}$로 제한함을 엄밀히 증명하며, ε이 작아질수록 이 값이 감소함을 보인다.
• 클래스 불균형과 레이블 값의 차이를 고려하기 위해 가중치가 부여된 공격 유틸리티 함수를 사용하여 평가의 공정성을 확보한다.
• 실제 데이터셋에서 모델의 훈련 정확도와 테스트 성능을 기반으로 기대 공격 유틸리티(EAU) 및 기대 공격 유틸리티의 하한선(L-EAU)을 추정한다.
• 합성 데이터(베이즈 분류기가 알려져 있음)와 실세계 데이터(Criteo 1TB 클릭 로그)에서 다양한 ε 값으로 이론적 경계를 검증한다.
• 레이블-DP 회계를 적용하고 이론적 상한선과 실측 우수도 간 격차를 평가하여 경계의 날카움과 향후 공격 개선 가능성 여부를 분석한다.

실험 결과

연구 질문

• RQ1 강력한 개인정보 보호 보장을 제공함에도 불구하고 레이블-차별적 비밀유지(label-DP) 모델에서 레이블 추론 공격(LIA)이 높은 정확도를 기록하는 이유는 무엇인가?
• RQ2 레이블-DP는 실제로 LIA에 대해 무력한가, 아니면 평가 지표가 오해를 낳는가?
• RQ3 레이블-DP 하에서 LIA 공격자의 베이즈 분류기 대비 우수도는 상한선이 존재하는가? 만약 존재한다면 ε와의 관계는 어떻게 되는가?
• RQ4 레이블-DP 모델에서 높은 훈련 정확도가 반드시 비밀 레이블 泄露를 의미하는가?
• RQ5 LIA 우수도에 대한 이론적 상한선은 얼마나 날카로운가? 그리고 실세계의 노이즈가 있고 불균형한 데이터셋에서의 성능은 어떠한가?

주요 결과

• ε-레이블-DP 하에서 LIA 우수도에 대한 이론적 상한선은 $1 - \frac{2}{1 + e^{\varepsilon}}$이며, ε이 작아질수록 감소하여 의미론적 비밀유지를 보장한다.
• 합성 데이터셋에서 이론적 상한선은 작은 ε와 큰 ε 값 모두에서 단순 예측 공격(SPA)의 실측 우수도를 날카롭게 지배한다.
• Criteo 1TB 클릭 로그 데이터셋에서 SPA 공격은 약 97%의 레이블 추론 정확도를 기록하지만, ε ≤ 2일 경우 음수의 우수도를 보이며 베이즈 분류기보다 열등한 성능을 보인다.
• 낮은 ε를 가진 레이블-DP 모델은 높은 훈련 정확도를 보일지라도, 베이즈 분류기에서 유추 가능한 것 이상의 비밀 레이블을 泄露하지 않으며, 이는 명백한 역설을 해결한다.
• 이론적 상한선과 실측 우수도 간의 실측 격차는 더 날카운 레이블-DP 회계 또는 더 효과적인 LIA의 가능성을 시사한다.
• 본 연구는 LIA에 대한 레이블-DP가 올바른 지표—즉, 베이즈 분류기 대비 공격자의 우수도—로 평가될 경우 손상되지 않음을 보여주며, 개인정보-유용성 균형 조절을 위한 원칙적인 프레임워크를 제공한다.