[논문 리뷰] Sample Complexity Bounds on Differentially Private Learning via Communication Complexity

Vitaly Feldman, David Xiao|arXiv (Cornell University)|2014. 02. 25.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 12

한 줄 요약

이 논문은 순수 미분적 보안 학습의 표본 복잡도와 개념 평가의 랜덤화된 일방 통신 복잡도 사이의 밀접한 연결을 확립하며, 순수 미분적 보안이 비공식적 또는 약간의 보안 학습보다 훨씬 더 많은 표본을 요구할 수 있음을 증명한다. 순수 보안 하에서 표본 복잡도가 비공식적 또는 약간의 보안 학습보다 임의로 더 높을 수 있음을 보여주며, Littlestone 차원과 통신 복잡도 도구를 통해 날카로운 경계를 제공함으로써 열려 있는 질문들을 해결한다.

ABSTRACT

In this work we analyze the sample complexity of classification by differentially private algorithms. Differential privacy is a strong and well-studied notion of privacy introduced by Dwork et al. (2006) that ensures that the output of an algorithm leaks little information about the data point provided by any of the participating individuals. Sample complexity of private PAC and agnostic learning was studied in a number of prior works starting with (Kasiviswanathan et al., 2008) but a number of basic questions still remain open, most notably whether learning with privacy requires more samples than learning without privacy. We show that the sample complexity of learning with (pure) differential privacy can be arbitrarily higher than the sample complexity of learning without the privacy constraint or the sample complexity of learning with approximate differential privacy. Our second contribution and the main tool is an equivalence between the sample complexity of (pure) differentially private learning of a concept class $C$ (or $SCDP(C)$) and the randomized one-way communication complexity of the evaluation problem for concepts from $C$. Using this equivalence we prove the following bounds: 1. $SCDP(C) = \\Omega(LDim(C))$, where $LDim(C)$ is the Littlestone's (1987) dimension characterizing the number of mistakes in the online-mistake-bound learning model. Known bounds on $LDim(C)$ then imply that $SCDP(C)$ can be much higher than the VC-dimension of $C$. 2. For any $t$, there exists a class $C$ such that $LDim(C)=2$ but $SCDP(C) \\geq t$. 3. For any $t$, there exists a class $C$ such that the sample complexity of (pure) $\\alpha$-differentially private PAC learning is $\\Omega(t/\\alpha)$ but the sample complexity of the relaxed $(\\alpha,\\beta)$-differentially private PAC learning is $O(\\log(1/\\beta)/\\alpha)$. This resolves an open problem of Beimel et al. (2013b).

연구 동기 및 목표

• 순수 미분적 보안 학습의 기본 표본 복잡도 비용을 PAC 및 일반 학습에서 이해하기 위해.
• 순수 미분적 보안이 비공식적 또는 약간의 보안 학습보다 더 많은 표본을 요구하는지 여부에 대한 열린 질문을 해결하기 위해.
• 순수 미분적 보안 학습의 표본 복잡도와 랜덤화된 일방 통신 복잡도 사이의 공식적 동치성을 수립하기 위해.
• Littlestone 차원과 같은 조합적 측정치를 사용하여 순수 보안 학습의 표본 복잡도를 특성화하기 위해.
• 순수 및 약간의 보안 학습 간의 표본 효율성 측면에서의 분리 현상을 보여주기 위해.

제안 방법

• 저자들은 개념 클래스 $ C $의 순수 미분적 보안 학습의 표본 복잡도 $ \mathrm{SCDP}(C) $와 $ C $의 개념 평가에 대한 랜덤화된 일방 통신 복잡도 사이의 새로운 동치성을 도입한다.
• 이 동치성을 통해 기존의 통신 복잡도 경계, 특히 Littlestone 차원과의 관련성을 통해 $ \mathrm{SCDP}(C) $의 하한을 유도한다.
• 핵심 기술 도구는 민감도 제약을 정보 이론적 상한(상호정보량의 제약)과 연결하는 확률적 표현을 통한 개념 클래스의 표현이다.
• 지수 기반 메커니즘과 복합 정리들을 적용하여 실패 확률 $ \delta $ 에 대한 의존도를 향상시켜, 약간의 보안 학습의 경우 $ O(\log(1/\delta)/\alpha) $ 의 표본 복잡도를 달성한다.
• 통신 복잡도와 정보 이론의 결과를 활용하여, 보안 제약 조건 하에서 표본 복잡도의 날카로운 경계를 도출한다.
• 개념 학습에서 통신 복잡도로의 감소를 통해, 임의의 비공식 학습 알고리즘이 유한한 비용을 가진 통신 프로토콜을 유도함을 보여준다.

실험 결과

연구 질문

• RQ1 순수 미분적 보안 학습의 표본 복잡도는 비공식적 또는 약간의 보안 학습보다 엄격히 높은가?
• RQ2 순수 미분적 보안 학습의 표본 복잡도는 통신 복잡도를 통해 특성화될 수 있는가?
• RQ3 Littlestone 차원은 순수 미분적 보안 학습의 표본 복잡도에 대해 날카로운 하한을 제공하는가?
• RQ4 표본 복잡도 측면에서 순수 및 약간의 보안 학습 간의 정량적 격차는 무엇인가?
• RQ5 개념 클래스의 크기에 관계없이 비공식 학습의 표본 복잡도를 독립적으로 경계할 수 있는가?

주요 결과

• 순수 미분적 보안 학습의 표본 복잡도 $ \mathrm{SCDP}(C) $ 는 $ \Omega(\mathrm{LDim}(C)) $ 로 하한이 존재하며, 여기서 $ \mathrm{LDim}(C) $ 는 개념 클래스 $ C $ 의 Littlestone 차원이다.
• 모든 주어진 $ t $ 에 대해 $ \mathrm{LDim}(C) = 2 $ 인 개념 클래스가 존재하며, 이에 대해 $ \mathrm{SCDP}(C) \geq t $ 를 만족함으로써, Littlestone 차원과 표본 복잡도 사이의 격차가 임의로 클 수 있음을 보여준다.
• 모든 $ t $ 에 대해, 순수 $ \alpha $-미분적 보안 학습의 표본 복잡도가 $ \Omega(t/\alpha) $ 인 개념 클래스 $ C $ 가 존재하며, 이에 비해 약간의 $ (\alpha,\beta) $-미분적 보안 학습의 표본 복잡도는 $ O(\log(1/\beta)/\alpha) $ 이다. 이는 Beimel 등(2013b)에서 제기된 열린 문제를 해결한다.
• VC 차원이 작더라도, 순수 미분적 보안 학습의 표본 복잡도는 비공식 학습보다 임의로 더 높을 수 있다.
• 순수 미분적 보안 학습의 표본 복잡도와 개념 평가의 랜덤화된 일방 통신 복잡도 사이의 동치성은 비공식 학습 분석을 위한 새로운 강력한 도구를 제공한다.
• 결과적으로, 약간의 보안 학습이 순수 보안 학습보다 표본 효율성이 뛰어나다는 것이 입증되었으며, 특히 $ \delta $ 에 대한 의존도 측면에서 두드러진다.