[논문 리뷰] Privacy-preserving Learning via Deep Net Pruning

Yangsibo Huang, Yushan Su외 4명|arXiv (Cornell University)|2020. 03. 04.

Privacy-Preserving Technologies in Data참고 문헌 69인용 수 8

한 줄 요약

이 논문은 크기 기반 신경망 프루닝과 은닉층 활성화에 비밀리에 노이즈를 추가하는 것 사이의 이론적 동치성을 확립하며, 정확도 손실이 크지 않은 조건에서 프루닝이 개인 정보를 보호할 수 있음을 보여준다. 넓은 네트워크 레이어의 프루닝이 차별적 비밀유지(privacy)를 만족함을 증명하고, 실험적으로 동일한 정확도 제약 조건 하에서 프루닝이 전통적 노이즈 추가보다 더 많은 개인 정보 보호를 제공함을 보였다.

ABSTRACT

This paper attempts to answer the question whether neural network pruning can be used as a tool to achieve differential privacy without losing much data utility. As a first step towards understanding the relationship between neural network pruning and differential privacy, this paper proves that pruning a given layer of the neural network is equivalent to adding a certain amount of differentially private noise to its hidden-layer activations. The paper also presents experimental results to show the practical implications of the theoretical finding and the key parameter values in a simple practical setting. These results show that neural network pruning can be a more effective alternative to adding differentially private noise for neural networks.

연구 동기 및 목표

• 신경망 프루닝이 차별적 비밀유지 노이즈 추가의 대안으로 기능할 수 있는지 조사하기 위해.
• 딥 러닝에서 프루닝과 차별적 비밀유지 사이의 이론적 연결 고리를 확립하기 위해.
• 분산 학습 환경에서 데이터 유용성은 유지하면서 개인 정보 泄露를 줄일 수 있는지 평가하기 위해.
• 딥 신경망에서 프루닝과 전통적 노이즈 추가의 개인 정보-유용성 트레이드오프를 비교하기 위해.

제안 방법

• 이론적 분석을 통해 신경망 레이어의 크기 기반 프루닝이 특정 양의 차별적 비밀유지 노이즈를 은닉 활성화에 주입하는 것과 동치임을 보여준다.
• 네트워크 폭이 충분히 넓을 조건 하에서, 농도 불등식과 민감도 분석을 활용해 동치성을 증명한다.
• 학습 중에 가중치를 크기 기반 임계값에 따라 점진적으로 프루닝하는 전략을 사용한다.
• 동일한 개인 정보 예산과 정확도 목표를 사용하여, 차별적 비밀유지 노이즈 주입 메커니즘과 프루닝을 공식적으로 비교한다.
• MNIST 및 CIFAR-10 데이터셋에서의 실험을 통해, 개인 정보 泄露를 측정하기 위해 역전환 공격을 사용하여 이론적 결과를 검증한다.
• 프레임워크는 복원된 이미지와 원본 입력 간의 유사도를 통해 개인 정보를 평가하며, 낮은 유사도가 더 좋은 개인 정보 보호를 의미한다.

실험 결과

연구 질문

• RQ1 신경망 레이어의 크기 기반 프루닝은 그 활성화에 차별적 비밀유지 노이즈를 추가하는 것과 동치인가?
• RQ2 네트워크 폭이 충분히 넓을 경우, 프루닝이 차별적 비밀유지 보장을 달성할 수 있는가?
• RQ3 딥 신경망에서 프루닝의 개인 정보-유용성 트레이드오프는 전통적 차별적 비밀유지 노이즈 추가와 비교해 어떻게 다른가?
• RQ4 프루닝의 희박성 증가가 은닉층 표현에 대한 역전환 공격의 성공률에 얼마나 영향을 미치는가?
• RQ5 동일한 정확도 제약 조건 하에서, 프루닝이 노이즈 추가보다 더 많은 개인 정보를 보존하는가?

주요 결과

• 넓은 신경망 레이어의 크기 기반 프루닝은 증명 가능하게 차별적 비밀유지이며, 프루닝과 노이즈 주입 사이의 공식적 동치성을 확립한다.
• 몇 백 정도의 네트워크 폭을 가진 경우, 실용적인 개인 정보 예산 하에서 프루닝과 차별적 비밀유지 사이의 이론적 동치성이 유지된다.
• MNIST 및 CIFAR-10에서, 동일한 모델 정확도를 유지하면서 프루닝은 차별적 비밀유지 노이즈 추가보다 훨씬 더 많은 개인 정보 보호를 제공한다.
• 프루닝 희박성이 증가함에 따라(예: 90%까지), 은닉층 표현에 대한 역전환 공격는 의미 있는 입력을 재구성하지 못하며, 거의 검은 이미지를 생성한다.
• 모델 정확도가 0.2 이하로 떨어지면, 프루닝과 노이즈 추가 모두 유사한 개인 정보 泄露를 초래한다. 이는 신호가 노이즈에 의해 지배되기 때문이다.
• 실험 결과는 프루닝의 높은 희박성이 복원된 이미지와 원본 이미지 간의 유사도 감소와 관련이 있으며, 더 강력한 개인 정보 보호를 의미한다.