[논문 리뷰] Adaptive Laplace Mechanism: Differential Privacy Preservation in Deep Learning

NhatHai Phan, Xintao Wu외 2명|arXiv (Cornell University)|2017. 09. 18.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 19

한 줄 요약

이 논문은 훈련 에포크 수와 무관하게 모델 출력에 대한 특징의 관련성에 기반해 신경망 특징에 적응적으로 노이즈를 주입하는 새로운 차별적(private) 딥 러닝 프레임워크인 적응형 라플라스 기법(AdLM)을 제안한다. 기존 방법보다 높은 정확도를 달성하기 위해 영향력이 높은 특징에서는 노이즈를 줄이고, 영향력이 낮은 특징에서는 노이즈를 늘림으로써 유용성을 향상시키면서도 프라이버시 보장을 유지한다.

ABSTRACT

In this paper, we focus on developing a novel mechanism to preserve differential privacy in deep neural networks, such that: (1) The privacy budget consumption is totally independent of the number of training steps; (2) It has the ability to adaptively inject noise into features based on the contribution of each to the output; and (3) It could be applied in a variety of different deep neural networks. To achieve this, we figure out a way to perturb affine transformations of neurons, and loss functions used in deep neural networks. In addition, our mechanism intentionally adds "more noise" into features which are "less relevant" to the model output, and vice-versa. Our theoretical analysis further derives the sensitivities and error bounds of our mechanism. Rigorous experiments conducted on MNIST and CIFAR-10 datasets show that our mechanism is highly effective and outperforms existing solutions.

연구 동기 및 목표

• 훈련 에포크 수와 무관하게 프라이버시 예산 소비에 영향을 주지 않는 딥 신경망을 위한 차별적 프라이버시 기법을 개발하는 것.
• 모델 출력에 기여하는 정도에 따라 특징에 적응적인 노이즈 주입을 가능하게 하여 모델의 유용성을 향상시키는 것.
• 다양한 딥 신경망 아키텍처에 적용 가능한 기법을 설계하는 것.
• 균일한 노이즈 주입이 모델 성능에 악영향을 미치는 것을 줄이기 위해 높은 관련성의 특징을 우선순위로 하는 것.
• 제안된 기법에 대한 이론적 감도 및 오차 경계 분석을 제공하는 것.

제안 방법

• 딥 뉴럴 네트워크의 아핀 변환과 손실 함수를 변형하여 차별적 프라이버시를 유지한다.
• 레이어별 관련성 전파(LRP)를 사용해 특징의 관련성을 계산하여 영향력이 큰 특징과 작은 특징을 식별한다.
• 감도 기반 라플라스 기법을 사용해 적응적으로 노이즈를 주입하며, 관련성이 낮은 특징에 더 많은 노이즈를 추가한다.
• 사전 훈련된 모델을 도입해 평균 특징 관련성 $\mathbf{R}(D)$를 추정함으로써 노이즈 분포를 효율적으로 계산할 수 있도록 한다.
• 핵심 구성 요소로 $\Delta_{\mathbf{R}}$, $\Delta_{\mathbf{h}_0}$, $\Delta_{\mathcal{F}}$, $\overline{R}_j$, $\beta_j$, $\overline{x}$, $\overline{\phi}$ 가 있으며, 이들은 모두 $O(|D|(d+M))$ 시간에 계산된다.
• 다양한 활성화 함수와 호환되며, 순차적 및 병렬 컴퓨팅 환경 모두에서 적용 가능하다.

실험 결과

연구 질문

• RQ1 훈련 에포크 수와 무관하게 프라이버시 예산 소비에 영향을 주지 않는 차별적 프라이버시 딥 러닝 기법을 설계할 수 있는가?
• RQ2 특징의 관련성에 기반해 노이즈 주입을 적응적으로 분배하여 모델의 유용성을 향상시킬 수 있는가?
• RQ3 제안된 기법은 다양한 딥 신경망 아키텍처에 일반화될 수 있는가?
• RQ4 고정된 프라이버시 예산 하에서 적응적 노이즈 분포와 균일한 노이즈 주입 간의 모델 정확도는 어떻게 비교되는가?
• RQ5 적응적 노이즈 주입 기법의 이론적 감도 및 오차 경계는 무엇인가?

주요 결과

• MNIST 데이터셋에서 AdLM은 pSGD(71.1%) 대비 평균 5.9% 높은 정확도(77%)를 달성하며 통계적 유의성($p<0.01$)을 보였다.
• CIFAR-10에서 AdLM은 ILM 대비 평균 5% 높은 정확도를 기록했으며 통계적 유의성($p<0.05$)이 있었다.
• MNIST 및 CIFAR-10에서의 모든 테스트 케이스에서 AdLM은 ILM를 능가했으며, 적응적 노이즈 재분배의 효과를 입증했다.
• 큰 프라이버시 예산($\epsilon=2.5$) 조건에서도 기법이 효과를 유지했으며, 800개의 훈련 에포크 이후 pSGD를 능가했다.
• 관련성 추정을 위한 사전 훈련은 MNIST에서 12개, CIFAR-10에서 50개의 추가 에포크가 필요했으며, 단일 GPU에서 약 10분이 소요되었다.
• 노이즈 주입의 계산 오버헤드는 매우 낮으며, 선형 복잡도 $O(|D|(d+M))$를 가지며 효율적으로 병렬화 가능하다.