[논문 리뷰] Data-dependent PAC-Bayes priors via differential privacy

Gintare Karolina Dziugaite, Daniel M. Roy|arXiv (Cornell University)|2018. 02. 26.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 9

한 줄 요약

이 논문은 미분적 안정성으로 데이터에 의존하는 PAC-Bayes 사전을 구성하는 방법을 제안하며, 데이터 변형에 대한 안정성을 보장함으로써 더 날카운 일반화 경계를 가능하게 한다. ϵ-차별적 비밀리성에 따라 사전 평균이 보장되는 경우 유효한 PAC-Bayes 경계를 도출할 수 있음을 보이며, 기존 경계가 실패하는 경우에도 특히 고온의 깁스 사후분포에서 비어 있지 않은 성능을 경험적으로 입증한다.

ABSTRACT

The Probably Approximately Correct (PAC) Bayes framework (McAllester, 1999) can incorporate knowledge about the learning algorithm and (data) distribution through the use of distribution-dependent priors, yielding tighter generalization bounds on data-dependent posteriors. Using this flexibility, however, is difficult, especially when the data distribution is presumed to be unknown. We show how an ε-differentially private data-dependent prior yields a valid PAC-Bayes bound, and then show how non-private mechanisms for choosing priors can also yield generalization bounds. As an application of this result, we show that a Gaussian prior mean chosen via stochastic gradient Langevin dynamics (SGLD; Welling and Teh, 2011) leads to a valid PAC-Bayes bound given control of the 2-Wasserstein distance to an ε-differentially private stationary distribution. We study our data-dependent bounds empirically, and show that they can be nonvacuous even when other distribution-dependent bounds are vacuous.

연구 동기 및 목표

• 고정된 사전에서 큰 KL 발산으로 인해 데이터에 의존하는 사후분포를 사용할 경우 표준 PAC-Bayes 경계가 비어 있지 않게 되는 한계를 해결하기 위해.
• 데이터 분포가 알려져 있지 않은 상황에서도 차별적 비밀리성을 안정성 메커니즘으로 활용하여 데이터에 의존하는 사전을 PAC-Bayes 이론에 적용할 수 있도록 하기 위해.
• 스토케스틱 최적화 방법(예: SGLD)을 사용하여 이론적 보장이 있는 유효하고 비어 있지 않은 일반화 경계를 구축하는 실용적 프레임워크를 개발하기 위해.
• 기존의 데이터에 의존하는 경계가 비어 있지 않게 되는 경우에도 비어 있지 않은 정보를 제공함을 경험적으로 검증하기 위해, 특히 고온의 사후분포에서의 성능을 평가하기 위해.

제안 방법

• 데이터 변화에 대한 민감도를 제어함으로써 ϵ-차별적 비밀리성에 따라 사전 평균이 보장되는 이론적 프레임워크를 제안하여 유효한 PAC-Bayes 일반화 경계를 확보한다.
• 적응적 데이터 분석 및 차별적 비밀리성 이론을 활용하여, 데이터에 의존하는 사전 선택에도 불구하고 높은 확률로 성립하는 경계를 유도한다.
• 스토케스틱 그래디언트 랭귀언 다이내믹스(SGLD)를 사용하여 데이터에 의존하는 사전을 학습하며, 특정 조건 하에서 SGLD가 (ϵ,δ)-차별적 비밀리성 보장을 갖는다는 이론적 보장을 제공한다.
• 이중 단계 최적화 프로세스를 제안한다: 첫 번째 단계에서는 작은 τ₁를 사용하여 비밀리성 보장된 사전을 SGLD로 학습하고, 두 번째 단계에서는 높은 τ₂를 사용하여 사후분포를 학습함으로써 일반화 오차에 대한 더 날카운 경계를 확보한다.
• 고차원 모델에서 특히 중요한, PAC-Bayes 경계의 KL 발산 항을 차별적 비밀리성 사전에서 몬테카를로 샘플링을 통해 근사한다.
• MNIST 및 합성 데이터셋에서 제안된 비밀리성 기반 PAC-Bayes 경계와 레버 경계(표준 데이터에 의존하는 경계)를 비교하여 날카움과 비어 있지 않은 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사전이 데이터에 의존하기 때문에 데이터가 i.i.d. 조건을 위반할 수 있는데, 데이터에 의존하는 사전을 PAC-Bayes 경계에 사용할 수 있는가?
• RQ2 차별적 비밀리성이 데이터에 의존하는 사전가 여전히 유효한 일반화 경계를 도출하기 위한 충분한 조건을 제공하는가?
• RQ3 SGLD를 사용하여 차별적 비밀리성 보장과 함께 날카운 일반화 경계를 생성하는 데 효과적인 데이터에 의존하는 사전을 구성할 수 있는가?
• RQ4 기존의 데이터에 의존하는 경계(예: 레버의 경계)와 비교할 때, 비밀리성 기반 PAC-Bayes 경계는 고온 영역에서 어떻게 성능을 발휘하는가?
• RQ5 기타 경계가 비어 있지 않게 되는 조건에서 비밀리성 기반 PAC-Bayes 경계는 어떤 조건에서 비어 있지 않게 유지되는가?

주요 결과

• 고온의 τ 값에서 레버 경계가 비어 있지 않게 되는 상황에서도 비밀리성 기반 PAC-Bayes 경계는 비어 있지 않게 유지되며, 특히 진짜 레이블 설정에서 그러한 경향이 뚜렷하다.
• 진짜 레이블을 사용한 MNIST 데이터셋에서 τ₂ ≥ 3×10⁴일 경우 비밀리성 기반 PAC-Bayes 경계는 레버 경계보다 날카롭게 유지되며, 테스트 오차는 0.06으로 감소하고 경계는 0.65 이하로 유지된다.
• 임의의 레이블을 사용할 경우 고온의 τ에서 일반화 오차가 급격히 증가하며, 이는 레버 경계가 포착하는 단계 전이 현상이지만, 비밀리성 기반 PAC-Bayes 경계는 여전히 정보를 제공한다.
• 이중 단계 SGLD 접근법은 비어 있지 않게 유지하면서도 더 높은 τ₂ 값을 허용하여 더 나은 사후 성능을 달성하면서도 이론적 타당성을 유지한다.
• 저 Bayes 위험을 가진 데이터셋에서 비밀리성 기반 경계의 KL 발산 항은 데이터 분포에 민감하며, 레버의 결과에서 제시된 상한보다도 유의미하게 낮게 유지된다.
• 고차원 설정에서 KL 항을 실용적으로 추정하기 위해, 10⁵개의 샘플을 비밀리성 사전에서 추출하여 로그-파트리션 함수(ln Z)의 몬테카를로 근사를 수행한다.