[논문 리뷰] Three Tools for Practical Differential Privacy

Koen Lennart van der Veen, Ruben Seggers외 2명|arXiv (Cornell University)|2018. 12. 07.

Privacy-Preserving Technologies in Data참고 문헌 6인용 수 22

한 줄 요약

이 논문은 비밀리에 개인 정보를 보호하는 기계 학습을 간소화하기 위해 세 가지 실용적인 도구를 소개한다: (1) 비밀리에 개인 정보를 보호하는 파arameter를 검증하기 위해 랜덤 노이즈를 사용한 중앙집중식 검증 체크, (2) 하이퍼파rameter 튜닝의 부담을 줄이기 위한 적응형 클리핑 바운드, (3) 노이즈를 줄이고 성능을 향상시키기 위해 스케일링된 학습률을 사용하는 대용량 배치 학습. 주요 기여는 강력한 개인 정보 보호 보장을 유지하면서도 경쟁력 있는 모델 정확도를 달성하는 안정적이고 수월한 워크플로우를 제공하는 것으로, CIFAR-10에서 ε=20 조건 하에서 적응형 클리핑을 사용할 경우 테스트 정확도가 61.6%에서 63.5%로 향상되었고, 대용량 배치 학습을 사용할 경우 66.9%까지 상승하였다.

ABSTRACT

Differentially private learning on real-world data poses challenges for standard machine learning practice: privacy guarantees are difficult to interpret, hyperparameter tuning on private data reduces the privacy budget, and ad-hoc privacy attacks are often required to test model privacy. We introduce three tools to make differentially private machine learning more practical: (1) simple sanity checks which can be carried out in a centralized manner before training, (2) an adaptive clipping bound to reduce the effective number of tuneable privacy parameters, and (3) we show that large-batch training improves model performance.

연구 동기 및 목표

• 실제 기계 학습 응용 프로그램에서 비밀리에 개인 정보를 보호하는 파arameter인 ε와 δ를 해석하고 校정하는 데 도전하는 것.
• 사용자 데이터를 기반으로 여러 모델을 훈련시켜야 하는 필요성을 최소화함으로써 하이퍼파라미터 튜닝 중 개인 정보 예산 소비를 줄이는 것.
• 수동 튜닝에 의존하지 않고 성능을 향상시키는 실용적이고 자동화된 워크플로우를 개발하여 비밀리에 개인 정보를 보호하는 딥 러닝을 위한 것.
• 고정된 개인 정보 예산 하에서 스케일링된 학습률을 사용하는 대용량 배치 학습이 노이즈를 줄이면서도 모델 정확도를 유지할 수 있는지 입증하는 것.
• 동적으로 기울기 노름을 조정하는 적응형 클리핑을 도입하여 클리핑 바운드에 대한 수동 그리드 서치에 의존도를 줄이는 것.

제안 방법

• 랜덤 노이즈 데이터로 모델을 훈련하여 중앙집중식 검증 체크를 수행; 만약 기억 현상(즉, 높은 훈련 정확도)이 발생하면, 개인 정보 보호 파arameter가 충분히 엄격하지 않다는 것을 의미함.
• 적응형 클리핑 구현: 각 레이어에 대해 클리핑 바운드를 $ C^{l}_{l^{2}t} = \beta C^{l}_{t-1} $ 로 갱신하며, $ \beta = 2 $ 이고, 한 번의 반복에서 랜덤 노이즈 데이터를 사용해 평균 ℓ₂-노름을 초기화함.
• 모멘츠 애카운턴트를 사용하여 개인 정보 소비를 추적하고, 전체 훈련 기간 동안 총 ε와 δ가 예산 내에 유지되도록 보장함.
• 배치 크기에 비례하여 학습률을 스케일링함 (예: 배치 크기가 $ k $ 배로 증가하면 $ \text{lr} \times k $ 로 조정함) 으로 대용량 배치 환경에서의 훈련 안정성을 유지함.
• 중앙집중식 랜덤 노이즈 데이터셋을 사용하여 노이즈 스케일 $ \rho $ 를 校정하여 검증 체크를 통과할 때까지 반복하고, 동일한 파arameter를 비밀리에 개인 정보를 포함한 데이터 훈련에 적용함.
• 기본값 $ \beta = 2.0 $, $ \beta = 2.0 $, $ \rho = 0.725 $ 를 사용하여 적응형 클리핑 방법을 적용함으로써 데이터 기반 튜닝에 대한 의존도를 감소시킴.

실험 결과

연구 질문

• RQ1 랜덤 노이즈 데이터를 사용한 중앙집중식 검증 체크가 비밀리에 개인 정보를 보호하는 파arameter가 기억 현상을 방지할 정도로 충분히 엄격한지 효과적으로 검증할 수 있는가?
• RQ2 다양한 모델과 데이터셋에서 적응형 클리핑이 클리핑 바운드에 대한 수동 하이퍼파라미터 튜닝의 필요성을 얼마나 줄일 수 있는가?
• RQ3 고정된 개인 정보 예산 하에서 스케일링된 학습률을 사용하는 대용량 배치 학습이 비밀리에 개인 정보를 보호하는 학습에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 예를 들어 $ \beta = 2.0 $, $ \rho = 0.725 $ 와 같은 통합된 기본 파arameter 세트가 재튜닝 없이 다양한 데이터셋에서 양호한 성능을 달성할 수 있는가?
• RQ5 적응형 클리핑, 대용량 배치 학습, 검증 체크를 결합하면 개인 정보 예산 소비를 최소화하면서도 수월한 종단 간 워크플로우를 제공할 수 있는가?

주요 결과

• 랜덤 노이즈 데이터로 훈련된 비밀리에 개인 정보를 보호하는 모델은 근처 0%에 가까운 훈련 정확도(≤1.5%)를 보였으며, 이는 고도로 개인 정보를 보호하는 파arameter(ε=20)를 사용하더라도 기억 현상이 효과적으로 방지됨을 확인함.
• CIFAR-10에서 테스트 정확도는 일정 클리핑일 경우 61.6%에서 적응형 클리핑을 사용할 경우 63.5%로 향상되어, 동적 기울기 클리핑이 노이즈 영향을 줄이는 데 효과적이라는 것을 입증함.
• 스케일링된 학습률을 사용하는 대용량 배치 학습은 ε=20 조건 하에서 CIFAR-10에서 66.9%의 테스트 정확도를 달성하였고, 동일한 배치 크기이지만 학습률을 그대로 유지한 기준 모델(47.2%)에 비해 뚜렷한 성능 향상을 보임.
• 적응형 클리핑 방법은 $ \beta $ 와 $ \rho_{l^2} $ 의 변화에 대해 강건했으며, 둘 다 두 배로 증가시켜도 유사한 성능를 유지함으로써 안정성과 일반화 가능성에 기여함.
• $ \beta = 2.0 $ 와 $ \rho_{l^2} = 2.5 $ 설정은 MNIST, CIFAR-10, CIFAR-100에서 일관된 성능을 유지하여 기본값이 다양한 작업에 적용 가능함을 시사함.
• 제안된 워크플로우는 비밀리에 개인 정보를 포함한 데이터를 사용하지 않고도 비밀리에 개인 정보를 보호하는 파arameter 튜닝을 수행할 수 있도록 중앙집중식 검증 체크를 비밀리에 개인 정보를 포함하지 않는 랜덤 데이터에서 수행함으로써 하이퍼파라미터 튜닝 중 개인 정보 예산 소비를 줄였음.