[논문 리뷰] Private Learning and Sanitization: Pure vs. Approximate Differential Privacy

Amos Beimel, Kobbi Nissim외 1명|arXiv (Cornell University)|2014. 07. 10.

Cryptography and Data Security참고 문헌 11인용 수 4

한 줄 요약

이 논문은 사전 학습 및 정제 작업의 맥락에서 순수 및 근사 미분 허용성의 성능을 비교하며, 특히 임계 함수와 점 함수와 같은 작업에서, 준연속적 약속 문제를 위한 재귀 알고리즘을 활용함으로써 근사 미분 허용성은 표본 복잡도를 크게 감소시킬 수 있음을 보여준다. 주요 결과는 (ε,δ)-미분 허용성에서 δ > 0이 조그만 값이라도 순수 ε-미분 허용성보다 표본 복잡도 향상을 가능하게 한다.

ABSTRACT

We compare the sample complexity of private learning [Kasiviswanathan et al. 2008] and sanitization~[Blum et al. 2008] under pure $ε$-differential privacy [Dwork et al. TCC 2006] and approximate $(ε,δ)$-differential privacy [Dwork et al. Eurocrypt 2006]. We show that the sample complexity of these tasks under approximate differential privacy can be significantly lower than that under pure differential privacy. We define a family of optimization problems, which we call Quasi-Concave Promise Problems, that generalizes some of our considered tasks. We observe that a quasi-concave promise problem can be privately approximated using a solution to a smaller instance of a quasi-concave promise problem. This allows us to construct an efficient recursive algorithm solving such problems privately. Specifically, we construct private learners for point functions, threshold functions, and axis-aligned rectangles in high dimension. Similarly, we construct sanitizers for point functions and threshold functions. We also examine the sample complexity of label-private learners, a relaxation of private learning where the learner is required to only protect the privacy of the labels in the sample. We show that the VC dimension completely characterizes the sample complexity of such learners, that is, the sample complexity of learning with label privacy is equal (up to constants) to learning without privacy.

연구 동기 및 목표

• 순수 ε-미분 허용성과 근사 (ε,δ)-미분 허용성 하에서 사전 학습 및 정제의 표본 복잡도를 분석하고 비교하는 것.
• 근사 미분 허용성의 완화가 기본적인 학습 및 정제 작업에서 순수 미분 허용성보다 훨씬 낮은 표본 복잡도를 가능하게 하는지 조사하는 것.
• 준연속적 약속 문제를 사전적으로 근사하는 데 사용할 수 있는 재귀적 프레임워크를 개발하여 효율적인 사전 학습기 및 정제기를 설계하는 것.
• 라벨-사전 학습기의 표본 복잡도를 특성화하고, 비사전 학습과 비교하여 상수 배수 이내로 일치함을 보여주는 것. 이는 전체 사전 학습과는 달리, 전체 사전 학습은 O(log|C|) 표본이 필요로 한다.
• 고차원에서 축에 평행한 직사각형의 경우, (ε,δ)-미분 허용성 하에서 사전 학습의 최적 표본 복잡도를 규명하는 것.

제안 방법

• 핵심 학습 및 정제 작업을 일반화하는 Quasi-Concave Promise Problems 라고 불리는 최적화 문제의 가족을 도입한다.
• 동일한 문제의 더 작은 인스턴스를 해결하는 재귀 알고리즘을 개발하여 준연속적 약속 문제를 사전적으로 근사한다.
• 고차원에서 점 함수, 임계 함수, 축에 평행한 직사각형에 대해 효율적인 (ε,δ)-사전 학습기를 설계하기 위해 재귀적 프레임워크를 적용한다.
• 학습 및 정제 파이프라인에서 미분 허용성을 보장하기 위해 지수 메커니즘과 라플라스 메커니즘을 사용한다.
• 일반화 오차를 제한하고 사전 학습 가설의 정확성을 보장하기 위해 농도 경계와 VC 이론을 활용한다.
• 라벨-사전 학습 모델에 일반 사전 학습기 구축 방식을 적응시켜 라벨 비밀성과 예제 비밀성을 분리함으로써 표본 복잡도를 VC 차원에 따라 스케일링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 근사 미분 허용성이 순수 미분 허용성 대비 사전 학습 및 정제의 표본 복잡도를 감소시킬 수 있는가?
• RQ2 점 함수 및 임계 함수와 같은 기본 개념 클래스에 대해 순수 및 근사 미분 허용성 간의 표본 복잡도 격차는 얼마인가?
• RQ3 준연속적 약속 문제에 대한 재귀적 기법을 활용해 효율적인 사전 학습기 및 정제기를 설계할 수 있는가?
• RQ4 라벨-사전 학습은 비사전 학습과 비슷한 표본 복잡도를 달성할 수 있으며, 만약 그렇다면 어떤 조건에서 가능한가?
• RQ5 (ε,δ)-미분 허용성 하에서 고차원 공간에서 축에 평행한 직사각형의 사전 학습에 대해 가능한 최고의 표본 복잡도는 무엇인가?

주요 결과

• (ε,δ)-미분 허용성 하에서 사전 학습 및 정제의 표본 복잡도는 순수 ε-미분 허용성보다 훨씬 낮을 수 있으며, 조그만 δ > 0 이더라도 그렇다.
• d차원에서의 임계 함수에 대해, 표본 복잡도 O(1)인 적절한 (ε,δ)-사전 학습기를 구성하였다. 반면 순수 미분 허용성은 Ω(d) 표본이 필요로 한다.
• 준연속적 약속 문제에 대한 재귀적 접근은 표본 복잡도를 감소시키는 데 효과적이며, 특히 점 함수 및 임계 함수에 대해 뛰어난 성능을 보인다.
• 라벨-사전 학습기는 O(VC(C)) 수준의 표본 복잡도를 상수 배수 이내로 달성하며, 이는 비사전 학습과 일치한다. 이는 전체 사전 학습이 O(log|C|) 표본이 필요로 하는 것과 대비된다.
• 분포가 공개되지만 라벨과 데이터 존재 여부가 보호되는 반사전 학습 모델은 전체 사전 학습과 동일한 표본 복잡도 O(VC(C))를 달성하며, 이는 최적임을 입증한다.
• 순수 사전 학습에서 d차원에서의 임계 함수 학습에 대해 Ω(d)의 하한을 확립하여, 근사 허용성의 우수성을 강조한다.