[논문 리뷰] Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms

Fengxiang He, Bohan Wang외 1명|arXiv (Cornell University)|2020. 07. 18.

Privacy-Preserving Technologies in Data참고 문헌 80인용 수 6

한 줄 요약

이 논문은 새로운 조합 정리들을 통해 비밀성과 일반화를 연결하여 반복적 미분 적으로 비밀스러운 학습 알고리즘에 대해 더 날카운 일반화 경계를 수립한다. $(\varepsilon,\delta)$-미분 적으로 비밀스러운 것은 모델 크기에 의존하지 않고도 이전 작업보다 엄밀한 고확률 일반화 경계를 암시함을 증명하며, 이 결과를 확률적 경사 랭그비안 동역학과 오만한 피어드레이티드 학습에 적용한다.

ABSTRACT

This paper studies the relationship between generalization and privacy preservation in iterative learning algorithms by two sequential steps. We first establish an alignment between generalization and privacy preservation for any learning algorithm. We prove that $(\varepsilon, δ)$-differential privacy implies an on-average generalization bound for multi-database learning algorithms which further leads to a high-probability bound for any learning algorithm. This high-probability bound also implies a PAC-learnable guarantee for differentially private learning algorithms. We then investigate how the iterative nature shared by most learning algorithms influence privacy preservation and further generalization. Three composition theorems are proposed to approximate the differential privacy of any iterative algorithm through the differential privacy of its every iteration. By integrating the above two steps, we eventually deliver generalization bounds for iterative learning algorithms, which suggest one can simultaneously enhance privacy preservation and generalization. Our results are strictly tighter than the existing works. Particularly, our generalization bounds do not rely on the model size which is prohibitively large in deep learning. This sheds light to understanding the generalizability of deep learning. These results apply to a wide spectrum of learning algorithms. In this paper, we apply them to stochastic gradient Langevin dynamics and agnostic federated learning as examples.

연구 동기 및 목표

• 모든 학습 알고리즘에서 미분 적으로 비밀스러움과 일반화 사이의 이론적 연결을 수립하는 것.
• 학습 알고리즘의 반복적 성격이 비밀성 열화와 일반화 성능에 미치는 영향을 분석하는 것.
• 모델 크기에 의존하지 않는 더 날카운 고확률 일반화 경계를 도출하는 것.
• 반복 알고리즘의 누적 비밀성 손실을 정확하게 추정하는 데 사용할 수 있는 조합 정리를 개발하는 것.
• 이 프레임워크가 확률적 경사 랭그비안 동역학과 피어드레이티드 학습과 같은 실세계 알고리즘에 적용 가능한지 보여주는 것.

제안 방법

• $(\varepsilon,\delta)$-미분 적으로 비밀스러운 조건 하에서 다중 데이터베이스 학습 알고리즘에 대한 평균 일반화 경계를 유도하는 것.
• 평균 경계와 농도 불등식을 활용하여 고확률 일반화 경계를 수립하는 것.
• 반복 단계당 비밀성 예산을 기반으로 반복 알고리즘의 미분 적으로 비밀스러움을 근사하기 위한 세 가지 조합 정리를 제안하는 것.
• 비밀성-일반화 연결을 조합 정리와 통합하여 반복 학습에 대한 종단 간 일반화 경계를 도출하는 것.
• 소음 주입과 기울기 클리핑을 사용하여 확률적 경사 랭그비안 동역학과 오만한 피어드레이티드 학습에 이 프레임워크를 적용하는 것.
• 체르노프 불등식과 모멘트 생성 함수를 사용하여 가우시안 및 클리핑된 기울기 메커니즘의 비밀성을 분석하는 것.

실험 결과

연구 질문

• RQ1 반복적 학습 알고리즘에서 미분 적으로 비밀스러움은 일반화 오차와 어떻게 관련되어 있는가?
• RQ2 모델 크기에 의존하지 않고도 더 날카운 고확률 일반화 경계를 도출할 수 있는가?
• RQ3 반복적 학습에서 비밀성이 어떻게 열화되는가? 이는 어떻게 정량적으로 모델링할 수 있는가?
• RQ4 조합 정리를 개선하여 반복 알고리즘에 대해 더 날카운 비밀성 추정치를 도출할 수 있는가?
• RQ5 제안된 경계가 실세계 알고리즘인 SGLD와 피어드레이티드 학습에서 일반화 및 비밀성 보장을 얼마나 향상시키는가?

주요 결과

• 고확률 일반화 경계에서 항 $a$ 는 이전 최고 성능인 $13\varepsilon$ 에서 $9\varepsilon$ 로 날카워져 향상되었다.
• 실패 확률 $b$ 의 경계는 $\frac{2\delta}{\varepsilon}\log\left(\frac{2}{\varepsilon}\right)$ 에서 $\frac{2e^{-\varepsilon}\delta}{\varepsilon}\log\left(\frac{2}{\varepsilon}\right)$ 로 개선되어 오류 확률이 크게 감소하였다.
• 제안된 평균 다중 데이터베이스 일반화 경계는 Nissim과 Stemmer (2018)의 결과보다 $e^{\varepsilon}$ 배 더 날카로워졌다.
• 제안된 조합 정리는 기존 결과보다 $\delta$ 의 근사치를 더 날카롭게 도출하여 반복 알고리즘의 비밀성 회계를 향상시켰다.
• 유도된 고확률 일반화 경계를 통해 프레임워크는 미분 적으로 비밀스러운 학습 알고리즘의 PAC-학습 가능성을 보장한다.
• 경계는 모델 크기와 무관하므로 딥 러닝에서 모델 크기가 기하급수적으로 커지는 데 특히 관련성이 있다.