[논문 리뷰] Deep Learning with Label Differential Privacy

Badih Ghazi, Noah Golowich외 3명|arXiv (Cornell University)|2021. 02. 11.

Privacy-Preserving Technologies in Data참고 문헌 92인용 수 6

한 줄 요약

이 논문은 레이블 보호 학습에서 랜덤라이즈드 리스폰스를 개선하기 위해 사전 분포를 활용하는 새로운 비밀유지 알고리즘인 RRWithPrior를 제안한다. 딥러닝에 레이블 비밀유지 차원으로 적용되었을 때, 기존의 최고 성능을 기록한 결과를 크게 향상시키며, 예를 들어 ε=8, δ=10⁻⁵ 조건에서 CIFAR-10에서 73%의 정확도를 달성한다.

ABSTRACT

The Randomized Response (RR) algorithm is a classical technique to improve robustness in survey aggregation, and has been widely adopted in applications with differential privacy guarantees. We propose a novel algorithm, Randomized Response with Prior (RRWithPrior), which can provide more accurate results while maintaining the same level of privacy guaranteed by RR. We then apply RRWithPrior to learn neural networks with label differential privacy (LabelDP), and show that when only the label needs to be protected, the model performance can be significantly improved over the previous state-of-the-art private baselines. Moreover, we study different ways to obtain priors, which when used with RRWithPrior can additionally improve the model performance, further reducing the accuracy gap between private and non-private models. We complement the empirical results with theoretical analysis showing that LabelDP is provably easier than protecting both the inputs and labels.

연구 동기 및 목표

• 레이블만 보호되는 경우에도 지속적으로 발생하는 비밀유지 딥러닝의 성능 격차를 해소한다.
• 기존의 랜덤라이즈드 리스폰스(RR) 기법을 개선하여 사전 지식을 통합함으로써 노이즈를 줄이고 정확도를 높인다.
• 레이블 비밀유지 딥러닝을 위한 엔드 투 엔드 구현이 가능한 실용적인 다단계 학습 알고리즘(LP-MST)을 개발한다.
• 레이블 비밀유지가 입력과 레이블을 모두 보호하는 것보다 본질적으로 더 쉽다는 것을 입증함으로써, 동일한 비밀유지 예산 하에서 더 나은 성능을 달성할 수 있음을 보여준다.
• 공개 데이터, 사전 학습된 모델, 또는 이전 학습 런에서 유도된 다양한 종류의 사전 지식이 레이블 비밀유지 하에서 모델 정확도를 얼마나 더 향상시킬 수 있는지 조사한다.

제안 방법

• 사전 분포 𝒑를 사용하여 레이블 알파벳을 축소시킴으로써 진짜 레이블을 반환할 확률을 높이는 수정된 RR 기법인 RRWithPrior를 제안한다.
• ε-비밀유지에서 최적의 비밀유지-정확도 트레이드오프를 위한 닫힌 형태의 수식을 유도하며, 레이블이 사전 분포에서 추출될 경우 올바른 출력 확률을 최대화함을 보여준다.
• RRWithPrior가 모든 ε-DP 기법 중에서 레이블 복구 확률 측면에서 최적이 되는 것을 증명하기 위해 선형 프로그래밍 설정을 제안한다.
• 레이블 펌터베이션 단계에서 RRWithPrior를 적용하는 다단계 학습 알고리즘(LP-MST)을 설계하여, 레이블 비밀유지 하에서 딥 네URAL 네트워크의 효율적 학습을 가능하게 한다.
• 공개 데이터, 사전 학습된 모델, 또는 이전 학습 런에서 유도된 사전 지식을 활용하여 레이블 펌터베이션 오차를 추가로 줄이고 모델 일반화 성능을 향상시킨다.
• 이론적 분석을 통해 레이블 비밀유지가 전체 입력 및 레이블 비밀유지보다 엄격히 더 쉽다는 것을 입증하며, 동일한 비밀유지 예산 하에서 더 나은 성능을 달성할 수 있음을 설명한다.

실험 결과

연구 질문

• RQ1 레이블만 보호되는 비밀유지 학습에서 사전 지식을 활용하여 정확도를 향상시킬 수 있는가?
• RQ2 레이블 비밀유지 하에서 RRWithPrior는 기존의 고전적 RR 및 비밀유지 딥러닝 기준선과 비교해 어떤가?
• RQ3 공개 데이터나 사전 학습된 모델에서 유도된 사전 지식 중 어떤 것이 비밀유지 학습에서 정확도 격차를 가장 효과적으로 줄이는가?
• RQ4 레이블 비밀유지는 입력과 레이블을 모두 보호하는 것보다 본질적으로 더 쉽고, 이로 인해 측정 가능한 성능 향상이 발생하는가?
• RQ5 강력한 비밀유지 보장을 제공하면서도 사전 지식을 고려한 펌터베이션을 통합한 실용적이고 확장 가능한 학습 파이프라인을 구축할 수 있는가?

주요 결과

• RRWithPrior는 레이블 공간을 축소시켜 고전적 RR보다 더 높은 레이블 복구 확률을 달성함으로써, 동일한 비밀유지 예산 하에서 정확도를 향상시킨다.
• RRWithPrior를 통합한 LP-MST 학습 파이프라인은 ε=8, δ=10⁻⁵ 조건에서 CIFAR-10에서 73%의 테스트 정확도를 기록하며, 이는 기존 최고 성능 결과를 달성하지만 더 일반적이고 원칙적인 접근 방식을 취한다.
• 특히 사전 지식이 정보가 많을 경우, 사전 지식을 활용함으로써 비밀유지 모델과 비비밀유지 모델 간의 정확도 격차를 이전 20个百分点 이상이었던 것을 줄였다.
• 이론적 분석을 통해 레이블 비밀유지가 전체 입력 및 레이블 비밀유지보다 엄격히 더 쉽다는 것을 입증하며, 실제로 관찰된 성능 향상의 타당성을 뒷받침한다.
• 사전 학습된 모델이나 공개 데이터에서 유도된 사전 지식은 일반화 오차를 추가로 줄이며, 사전 지식의 품질이 높아질수록 성능 향상이 커진다.
• 레베데이커 복잡도 기반 일반화 경계를 통해, 비밀유지 모델의 일반화 오차가 가설 클래스의 복잡도와 사전 지식을 반영한 펌터베이션 기법의 복잡도에 비례하여 스케일링됨을 보여주며, 실증적 성과에 대한 이론적 근거를 제공한다.