[논문 리뷰] Privately Learning Thresholds: Closing the Exponential Gap

Haim Kaplan, Katrina Ligett외 3명|arXiv (Cornell University)|2019. 11. 22.

Privacy-Preserving Technologies in Data참고 문헌 11인용 수 4

한 줄 요약

이 논문은 약간의 차별적(private) 임계값 함수 학습에 대한 가장 잘 알려진 하한과 상한 사이의 지수적 간격을 해결한다. 이는 재귀 해싱과 경로 구성 기반의 새로운 알고리즘을 제안하여 샘플 복잡도 Õ((log* |X|)^1.5)를 달성함으로써 이전 작업을 크게 향상시키고, 이 문제에 대해 약간의 차별적 비용에서의 점근적 샘플 복잡도를 거의 해결한다.

ABSTRACT

We study the sample complexity of learning threshold functions under the constraint of differential privacy. It is assumed that each labeled example in the training data is the information of one individual and we would like to come up with a generalizing hypothesis $h$ while guaranteeing differential privacy for the individuals. Intuitively, this means that any single labeled example in the training data should not have a significant effect on the choice of the hypothesis. This problem has received much attention recently; unlike the non-private case, where the sample complexity is independent of the domain size and just depends on the desired accuracy and confidence, for private learning the sample complexity must depend on the domain size $X$ (even for approximate differential privacy). Alon et al. (STOC 2019) showed a lower bound of $Ω(\log^*|X|)$ on the sample complexity and Bun et al. (FOCS 2015) presented an approximate-private learner with sample complexity $ ilde{O}\left(2^{\log^*|X|} ight)$. In this work we reduce this gap significantly, almost settling the sample complexity. We first present a new upper bound (algorithm) of $ ilde{O}\left(\left(\log^*|X| ight)^2 ight)$ on the sample complexity and then present an improved version with sample complexity $ ilde{O}\left(\left(\log^*|X| ight)^{1.5} ight)$. Our algorithm is constructed for the related interior point problem, where the goal is to find a point between the largest and smallest input elements. It is based on selecting an input-dependent hash function and using it to embed the database into a domain whose size is reduced logarithmically; this results in a new database, an interior point of which can be used to generate an interior point in the original database in a differentially private manner.

연구 동기 및 목표

• 약간의 차별적 비용에서 임계값 함수 학습에 대한 샘플 복잡도에 대한 가장 잘 알려진 하한과 상한 사이의 지수적 간격을 좁히는 것.
• 약간의 차별적 비용 하에서 임계값 학습에 대해 거의 최적의 샘플 복잡도를 달성하는 비밀 유지 알고리즘을 설계하는 것.
• 도메인 크기를 효율적으로 줄일 수 있는 새로운 기법을 개발하여 비밀 유지 내부 점 찾기를 가능하게 하는 것.
• 이전 상한 Õ(2^{log* |X|})을 Õ((log* |X|)^1.5)로 줄여 기존 상한을 개선하는 것.
• 정확도, 비밀 유지 파라미터, 도메인 크기 측면에서 제안된 알고리즘의 엄밀한 유틸리티와 비밀 유지 보장을 확립하는 것.

제안 방법

• 입력에 따라 달라지는 해시 함수를 사용하여 원본 데이터베이스를 더 작은 도메인에 매핑함으로써 도메인 크기를 각 단계에서 로그적으로 줄이는 재귀 알고리즘인 HeavyPaths를 제안한다.
• 깊이 기반 경로 구성 메커니즘을 사용하여 선택된 점이 높은 확률로 내부 점이 되도록 보장한다.
• 다중 재귀 단계와 하위 알고리즘 간의 비밀 유지 손실을 제한하기 위해 고급 비밀 유지 복합 정리(advanced differential privacy composition theorems)를 적용한다.
• 각 단계에서 내부 점의 깊이에 대한 비밀 유지 추정치를 유지함으로써 재귀적 정밀도 향상을 가능하게 하는 다단계 축소 전략을 사용한다.
• 적절한 재귀 깊이를 결정하기 위한 통계적 테스트를 기반으로 한 정지 기준을 도입하여 유틸리티를 유지하면서도 비밀 유지 보장을 확보한다.

실험 결과

연구 질문

• RQ1 약간의 차별적 비용 하에서 임계값 함수 학습에 대한 샘플 복잡도의 가장 날카로운 하한은 무엇인가?
• RQ2 Ω(log* |X|) 하한과 Õ(2^{log* |X|}) 상한 사이의 간격을 크게 줄일 수 있는가?
• RQ3 일정한 정확도와 신뢰도를 유지하면서 log* |X|에 대한 지수적 이하의 의존도를 가지는 비밀 유지 알고리즘을 설계할 수 있는가?
• RQ4 비밀 유지 해싱을 통한 재귀적 도메인 축소를 어떻게 활용하여 강력한 유틸리티 보장을 갖는 비밀 유지 내부 점 찾기 알고리즘을 구성할 수 있는가?
• RQ5 ε과 δ에 대한 비밀 유지 분석을 더욱 정교화하여 log* |X|와 n에 대한 더 날카로운 하한을 확보할 수 있는가?

주요 결과

• 논문은 약간의 차별적 비용에서 임계값 학습에 대한 샘플 복잡도에 대해 새로운 상한 Õ((log* |X|)^1.5)을 달성하여 이전의 Õ(2^{log* |X|}) 상한보다 크게 향상시켰다.
• n ≥ Ω((log* |X|)/ε) · log(1/(δ · log* |X|))일 때, 알고리즘 HeavyPaths는 입력 데이터베이스의 내부 점을 1 - O(δ · log* |X|) 이상의 확률로 반환한다.
• 알고리즘은 (O(ε·√(log* |X|·log(1/(δ·log* |X|)))) + ε²·log* |X| + ε·log n, O(δ·(n + log* |X|)·e^{O(ε·√(log* |X|·log(1/(δ·log* |X|))))}))-differentially private이다.
• 비밀 유지 해싱을 사용하여 각 재귀 단계에서 도메인 크기를 로그적으로 줄임으로써 효율적이고 비밀 유지된 경로 구성이 가능해졌다.
• 분석을 통해 알고리즘은 모든 재귀 단계에서 높은 유틸리티를 유지함을 입증하여 최종 출력이 높은 확률로 유효한 내부 점이 되도록 보장한다.
• 결과적으로 이는 비밀 유지 임계값 학습의 샘플 복잡도를 거의 해결하며, 오랫동안 알려진 하한과 상한 사이의 지수적 간격을 닫는 데 기여한다.