[논문 리뷰] Private Center Points and Learning of Halfspaces

Amos Beimel, Shay Moran외 2명|arXiv (Cornell University)|2019. 02. 27.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 6

한 줄 요약

이 논문은 유한 도메인 $X \subset \mathbb{R}^d$ 상의 하프스페이스에 대한 차별적(private) 학습기를 제안하며, 샘플 복잡도는 $\mathop{\rm{poly}}\nolimits(d, 2^{\log^* |X|})$이다. 이는 $m$개의 점에 대한 근사 중심점(approximate center point)을 계산하는 새로운 차별적 알고리즘을 통해 달성된다. 주요 기여는 차별적 중심점 계산과 하프스페이스 학습 간의 연결 고리를 확립한 것으로, 약간의 차별적(private) 보장 하에 $|X|$에 대해 로그 이하의 샘플 복잡도로 이러한 학습이 가능하다는 것을 보여준다.

ABSTRACT

We present a private learner for halfspaces over an arbitrary finite domain $X\subset \mathbb{R}^d$ with sample complexity $mathrm{poly}(d,2^{\log^*|X|})$. The building block for this learner is a differentially private algorithm for locating an approximate center point of $m>\mathrm{poly}(d,2^{\log^*|X|})$ points -- a high dimensional generalization of the median function. Our construction establishes a relationship between these two problems that is reminiscent of the relation between the median and learning one-dimensional thresholds [Bun et al.\ FOCS '15]. This relationship suggests that the problem of privately locating a center point may have further applications in the design of differentially private algorithms. We also provide a lower bound on the sample complexity for privately finding a point in the convex hull. For approximate differential privacy, we show a lower bound of $m=Ω(d+\log^*|X|)$, whereas for pure differential privacy $m=Ω(d\log|X|)$.

연구 동기 및 목표

• 순수 차별적(private) 보장에 비해 개선된 샘플 복잡도를 갖는, 유한 도메인 $X \subset \mathbb{R}^d$ 상의 하프스페이스 학습을 위한 차별적 알고리즘을 설계하는 것.
• 차별적 중심점 계산과 하프스페이스 학습 간의 연결 고리를 확립하여, 중앙값-임계값 학습 관계와 유사한 관계를 설정하는 것.
• 반경이 넓은 개념 클래스인 하프스페이스, 구, 다항식에 대해 약간의 차별적(private) 학습 이해의 격차를 메우는 것.
• 순수 및 약간의 차별적(private) 보장 하에서 볼록 hull 내 점을 찾는 데 필요한 샘플 복잡도에 대한 날카운 하한을 제공하는 것.
• 샘플 복잡도가 $|C|$에 대해 로그 이하로 증가하는 하프스페이스의 비밀 유지 학습이 가능함을 보여주는 것. 이는 $|C|$가 $|X|$에 대해 지수적일지라도 가능함을 의미한다.

제안 방법

• 비밀 유지 하프스페이스 학습 문제를 훈련 데이터의 볼록 hull 내 점을 찾는 문제로 축소한다.
• 고차원 공간 내 $m$개의 입력 점에 대해 근사 중심점을 계산하는 차별적 알고리즘을 설계하며, 이는 중앙값 함수의 일반화이다.
• 중심점 알고리즘은 선형 독립 부분집합의 무작위 샘플링과 기저 기반 표현을 사용하여 비밀유지성과 정확성을 보장한다.
• 확률적 추론을 통해 데이터셋에서 $d/2$개의 랜덤 점이 선형 독립일 확률가 높으며, 이들이 공간의 큰 부분을 차지할 수 있음을 보여준다.
• 비밀유지 분석은 출력이 개인 데이터 포인트에 얼마나 민감한지 분석하고, 고급 복합 정리(advanced composition theorem)를 적용하여 비밀유지 손실을 제한한다.
• 알고리즘의 정확성은 선형 대수학과 농도 경계를 사용하여 출력이 볼록 hull 내에 있을 확률이 높다는 것을 보여줌으로써 입증된다.

실험 결과

연구 질문

• RQ1 약간의 차별적(private) 보장 하에, 하프스페이스의 비밀 유지 학습이 $|X|$에 대해 샘플 복잡도가 선형 이하로 가능할 수 있는가?
• RQ2 하프스페이스와 같은 기하 개념 클래스에 대해, 비밀 유지 중심점 계산과 비밀 유지 학습 간의 일반적인 연결 고리가 존재하는가?
• RQ3 순수 및 약간의 차별적(private) 보장 하에서 데이터셋의 볼록 hull 내 점을 찾는 데 최적의 샘플 복잡도는 얼마인가?
• RQ4 순수 차별적(private) 보장 하에서 요구되는 $O(d \log |X|)$를 초월해 하프스페이스 학습의 샘플 복잡도를 향상시킬 수 있는가?
• RQ5 비밀 유지 중심점 알고리즘이 다항식 및 구와 같은 더 풍부한 개념 클래스의 비밀 유지 학습을 가능하게 하는가?

주요 결과

• 논문은 샘플 복잡도가 $\mathop{\rm{poly}}\nolimits(d, 2^{\log^* |X|})$인 하프스페이스에 대한 비밀 유지 학습기를 제안하며, 이는 순수 차별적(private) 보장 하에서 요구되는 $O(d \log |X|)$보다 훨씬 작다.
• 핵심 통찰은 하프스페이스의 비밀 유지 학습이 비밀 유지 중심점 알고리즘을 통해 볼록 hull 내 점을 찾는 문제로 환원될 수 있다는 것이다.
• 약간의 차별적(private) 보장 하에, 볼록 hull 내 점을 찾는 데 필요한 샘플 복잡도에 대해 $\Omega(d + \log^* |X|)$의 하한을 확립하였다.
• 순수 차별적(private) 보장 하에, 볼록 hull 소속성에 대한 샘플 복잡도 하한은 $\Omega(d \log |X|)$이며, 이는 비밀 유지 하프스페이스 학습에 대한 기존 상한과 일치한다.
• 비밀 유지 중심점 알고리즘이 높은 확률로 정확하고 차별적으로 보장됨을 입증하였으며, 이는 랜덤 부분집합의 선형 독립성과 기저 표현에 기반한다.
• 분석을 통해 고급 복합 정리를 통해 비밀유지 손실이 유한함을 보였으며, 데이터셋이 충분히 크면 출력이 볼록 hull 내에 있을 확률이 높다는 것이 보장된다.