[논문 리뷰] Limits of Private Learning with Access to Public Data

Noga Alon, Raef Bassily외 1명|arXiv (Cornell University)|2019. 10. 25.

Privacy-Preserving Technologies in Data인용 수 17

한 줄 요약

이 논문은 공개된 레이블이 없는 데이터에 접근할 수 있을 때 비밀러닝의 기본 한계를 규명한다. VC 차원 $d$인 어떤 가설 클래스라도 $O(d/\alpha)$개의 공개 예제와 $O(d/\alpha^2)$개의 비밀 레이블이 붙은 예제로 애그노스틱하게 학습될 수 있음을 보여주며, 이는 모든 데이터가 비밀일 때의 표준 비밀 학습에 비해 공개 샘플 복잡도에서 제곱 개선을 이룬다. 이는 공개 데이터가 레이블이 없더라도 성립한다. 이는 VC 차원이 무한대인 레이블스톤 차원을 가진 클래스에 대해 상한과 거의 일치하는 하한을 제공한다.

ABSTRACT

We consider learning problems where the training set consists of two types of examples: private and public. The goal is to design a learning algorithm that satisfies differential privacy only with respect to the private examples. This setting interpolates between private learning (where all examples are private) and classical learning (where all examples are public). We study the limits of learning in this setting in terms of private and public sample complexities. We show that any hypothesis class of VC-dimension $d$ can be agnostically learned up to an excess error of $α$ using only (roughly) $d/α$ public examples and $d/α^2$ private labeled examples. This result holds even when the public examples are unlabeled. This gives a quadratic improvement over the standard $d/α^2$ upper bound on the public sample complexity (where private examples can be ignored altogether if the public examples are labeled). Furthermore, we give a nearly matching lower bound, which we prove via a generic reduction from this setting to the one of private learning without public data.

연구 동기 및 목표

• 공개 데이터에 접근할 수 있는 차별적 비밀 학습에서 비밀 샘플 복잡도와 공개 샘플 복잡도 간의 상호 관계를 이해하기 위해.
• 애그노스틱 학습에서 비밀-정확도 상호 보완성을 달성하기 위해 필요한 최소한의 공개 예제 수를 규명하기 위해.
• 순수 및 약한 반비밀 학습에 대해 공개 샘플 복잡도에 대한 거의 날카로운 상한과 하한을 확립하기 위해.
• 특히 VC 및 레이블스톤 차원과 같은 조합적 매개변수와 관련하여 공개 데이터가 효율적인 비밀 학습을 가능하게 하는 조건을 규명하기 위해.

제안 방법

• 반비밀 학습을 공개 데이터 없이 표준 비밀 학습으로의 새로운 감소를 제안하여 하한 전이가 가능하도록 한다.
• 공개 데이터를 진짜 데이터 분포의 대체자로 간주함으로써 반비밀 학습자로 비밀 학습자를 시뮬레이션하는 기법을 도입한다.
• 레이블이 확률 $1-p$로 균일하게 랜덤인 혼합 분포 구성 기법을 사용하여 진짜 분포에서의 일반화 오차를 노이즈가 섞인 혼합 분포에서의 오차와 연결한다.
• 집중 불등식과 확률적 추론을 적용하여 공개 데이터 유무에 따른 오차 확률의 차이를 근사한다.
• 분포 거리(총변동 거리) 개념을 활용하여 진짜 데이터 분포와 가까운 공개 데이터가 효과적인 학습을 가능하게 함을 보여준다.
• 약한 반비밀 학습에 대한 하한을 유도하기 위해 레이블스톤 차원을 핵심 조합적 매개변수로 활용한다.

실험 결과

연구 질문

• RQ1 공개 데이터는 차별적 비밀 학습에서 비밀 샘플 복잡도를 크게 줄일 수 있는가?
• RQ2 모든 VC 클래스에 대해 효율적인 비밀 학습을 달성하기 위해 필요한 최소한의 공개 예제 수(레이블이 있든 없든)는 얼마인가?
• RQ3 레이블스톤 차원은 약한 반비밀 학습에서 공개 샘플 복잡도에 대한 하한에 어떻게 영향을 미치는가?
• RQ4 공개 데이터의 존재가 단순한 개념 클래스(예: 임계값)에 대해 알려진 비밀 학습의 불가능성 결과를 피할 수 있는가?
• RQ5 가설 클래스의 조합적 성질에 기반하여 순수 반비밀 학습 가능성에 대한 이분법이 존재하는가?

주요 결과

• VC 차원 $d$인 어떤 가설 클래스라도 $O(d/\alpha)$개의 공개 예제와 $O(d/\alpha^2)$개의 비밀 레이블이 붙은 예제로 애그노스틱하게 학습될 수 있으며, 이는 공개 예제가 레이블이 없더라도 성립한다.
• 이 공개 샘플 복잡도는 모든 데이터가 비밀일 때의 표준 $O(d/\alpha^2)$ 경계에 비해 제곱 개선을 이룬다. 이는 상당한 효율성 향상이다.
• 약한 반비밀 학습에 대해 $\Omega(1/\alpha)$개의 공개 예제가 필요한 거의 일치하는 하한이 확립되었다. 이는 공개 데이터가 레이블이 있더라도 성립한다.
• 이 하한은 일차원 임계값과 같이 레이블스톤 차원이 무한대인 클래스에 대해서도 성립하며, 이 경우 상한의 날카로움을 입증한다.
• 순수 반비밀 학습에 대해 이분법이 확립되었다: 가설 클래스는 공개 데이터 없이 순수 비밀 학습자가 학습할 수 있을 때에만 순수 반비밀 학습이 가능하다.
• 감소 기법을 통해 어떤 반비밀 학습자도 비밀 학습자를 구성하는 데 사용될 수 있으며, 이는 표준 비밀 학습 설정에서의 하한 전이를 가능하게 한다.