[논문 리뷰] An Equivalence Between Private Classification and Online Prediction

Mark Bun, Roi Livni외 1명|arXiv (Cornell University)|2020. 03. 01.

Advanced Bandit Algorithms Research참고 문헌 43인용 수 4

한 줄 요약

이 논문은 유한한 리틀스토운 차원을 가진 개념 클래스가 약간의 차별적 비밀성 보장을 갖는 알고리즘에 의해 학습될 수 있음을 증명함으로써, 차별적 비밀성 보장이 있는 학습과 온라인 학습 사이의 기본적인 등가성을 확립한다. 주요 기여는 '글로벌 안정성'—전체 입력 데이터셋의 재표본화에 대해 강건성을 보장하는 새로운 안정성 개념—의 도입으로, 이는 온라인 학습 알고리즘으로부터 비밀성 보장 학습 알고리즘을 구성할 수 있게 하여 알론 등(2019)과 니엘 등(2019)이 제기한 열린 문제를 해결한다.

ABSTRACT

We prove that every concept class with finite Littlestone dimension can be learned by an (approximate) differentially-private algorithm. This answers an open question of Alon et al. (STOC 2019) who proved the converse statement (this question was also asked by Neel et al.~(FOCS 2019)). Together these two results yield an equivalence between online learnability and private PAC learnability. We introduce a new notion of algorithmic stability called "global stability" which is essential to our proof and may be of independent interest. We also discuss an application of our results to boosting the privacy and accuracy parameters of differentially-private learners.

연구 동기 및 목표

• 유한한 리틀스토운 차원을 가진 모든 개념 클래스가 비밀성 보장 학습 가능한가에 대한 열린 문제를 해결하기 위해.
• 온라인 학습 가능성과 비밀성 보장 학습 가능성 간의 공식적 등가성을 수립하기 위해.
• 온라인 학습과 비밀성 보장 학습을 연결하는 데 핵심 기술 도구가 되는 '글로벌 안정성'의 개념을 도입하고 체계화하기 위해.
• 온라인 학습 알고리즘을 차별적 비밀성 보장 학습 알고리즘으로 변환하는 구축 가능한 방법을 제공하기 위해.
• 차별적 비밀성 보장의 맥락에서 비밀성 보장 부스팅과 오라클 효율적 학습에 대한 영향을 탐색하기 위해.

제안 방법

• 전체 입력 데이터셋의 재표본화에 대해 강건성을 보장하는 알고리즘 안정성의 한 형태로서 '글로벌 안정성'을 도입한다.
• 안정성과 차별적 비밀성 보장 간의 연결을 활용하여, 글로벌 안정성 알고리즘은 출력 편향을 통해 차별적 비밀성 보장으로 변환될 수 있음을 보여준다.
• 데이터 분포 하에서 높은 확률로 정확도가 높고 오차가 낮은 가설 f를 출력하는 랜덤 알고리즘 G를 기반으로 한 비밀성 보장 학습자 구축 방법을 사용한다.
• 정리 10을 적용하여 리틀스토운 차원에 대해 이중 지수 함수의 형태로 표본 복잡도가 유한한 비밀성 보장 학습자가 존재함을 보장한다.
• 최종 표본 복잡도 한계를 개인정보 보호 매개변수 ε, δ 및 정확도 α에 대해 유도하기 위해 비밀성 보장 복합 정리(정리 17)를 적용한다.
• 최종 표본 복잡도를 O(2^{~O(2^d)} + log(1/βδ))/(αε)로 유도하며, 여기서 d는 리틀스토운 차원이다.

실험 결과

연구 질문

• RQ1 유한한 리틀스토운 차원을 가진 모든 개념 클래스는 비밀성 보장 학습 가능한가?
• RQ2 온라인 학습 가능성과 비밀성 보장 학습 가능성 간에 공식적 등가성이 존재하는가?
• RQ3 글로벌 안정성은 온라인 학습과 비밀성 보장 학습을 연결하는 통합 프레임워크로 기능할 수 있는가?
• RQ4 유한한 리틀스토운 차원을 가진 클래스의 비밀성 보장 학습에 대해 가장 날카로운 표본 복잡도는 무엇인가?
• RQ5 비밀성 보장 학습 프레임워크는 0-1 손실 이외의 일반적인 손실 함수로 확장될 수 있는가?

주요 결과

• 유한한 리틀스토운 차원을 가진 모든 개념 클래스는 비밀성 보장 학습 가능하며, 이는 알론 등(2019)과 니엘 등(2019)이 제기한 열린 문제를 해결한다.
• 리틀스토운 차원 d를 가진 클래스의 경우 비밀성 보장 학습의 표본 복잡도는 O(2^{~O(2^d)} / (αε)) 이하로 유한하다. 여기서 α는 정확도 매개변수이다.
• 논문은 온라인 학습 가능성과 비밀성 보장 학습 가능성 간에 정성적 등가성을 확립하며, 이를 위해 공통적인 특성으로서 유한한 리틀스토운 차원을 사용한다.
• '글로벌 안정성'의 도입은 학습 이론에서 안정성 분석을 위한 새로운 잠재적 독립 도구를 제공한다.
• 비밀성 보장 학습자 구축은 데이터 분포 하에서 일정한 성공 확률을 확보하며 오차는 최대 α/2 이하로 유지된다.
• 결과는 비밀성 보장 학습이 비밀성 보장 부스팅 프레임워크를 통해 가능할 수 있음을 시사하지만, 효율적인 알고리즘적 실현은 여전히 열려있다.