[논문 리뷰] Tight Lower Bounds for Locally Differentially Private Selection

Jonathan Ullman|arXiv (Cornell University)|2018. 02. 07.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 26

한 줄 요약

이 논문은 단-simplex 위에서 선형 함수 최적화 및 지수 기법을 구현하기 위한 비상호작용 국소적 미세차별 보장 프rotocol의 표본 복잡도에 대해 날카롭고 상수 요인 최적의 하한을 설정한다. 결과적으로 국소적 미세차별 보장은 중심 모델 대비 고차원에서 표본 복잡도에 지수적 패널티를 초래함을 보여주며, 이는 이전 연구에서 열어두었던 정량적 격차를 해결한다.

ABSTRACT

We prove a tight lower bound (up to constant factors) on the sample complexity of any non-interactive local differentially private protocol for optimizing a linear function over the simplex. This lower bound also implies a tight lower bound (again, up to constant factors) on the sample complexity of any non-interactive local differentially private protocol implementing the exponential mechanism. These results reveal that any local protocol for these problems has exponentially worse dependence on the dimension than corresponding algorithms in the central model. Previously, Kasiviswanathan et al. (FOCS 2008) proved an exponential separation between local and central model algorithms for PAC learning the class of parity functions. In contrast, our lower bound are quantitatively tight, apply to a simple and natural class of linear optimization problems, and our techniques are arguably simpler.

연구 동기 및 목표

• 비상호작용 국소적 미세차별 보장 프로토콜에 대한 선형 최적화 문제에서 표본 복잡도의 날카운 하한을 확립하기.
• 고차원 환경에서 국소적 미세차별 보장의 본질적 비효율성을 중심 모델과 비교하여 정량화하기.
• 국소적 프라이버시 프로토콜에서 프라이버시와 효율성의 상호 교환 관계를 이해하는 데 남아 있던 정량적 격차를 해결하기.
• 이전의 지수적 분리 결과에 비해 더 단순하고 직접적인 분석 기법을 제공하기.

제안 방법

• 정보 이론적 추론을 활용하여 국소적 미세차별 보장 하에서 정확한 추정을 위해 필요한 최소 표본 크기를 제한한다.
• 표본 복잡도의 하한을 유도하기 위해 단순형 위에서 선형 최적화 문제의 어려운 사례를 구성한다.
• 지수 기법에서 선형 최적화 문제로의 감소를 통해 두 문제 간 하한을 이전한다.
• Fano 유형의 부등식과 상호정보량 추론을 적용하여 국소적 프라이버시 프로토콜의 기본 한계를 특성화한다.
• 복잡한 조합 구조를 피하고, 단순형 위에서 기하학적 및 확률적 추론에 의존하는 증명 기법을 사용한다.
• 이 프레임워크는 비상호작용 국소 프로토콜과 지수 기법 모두에 일반적으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 단순형 위에서 비상호작용 국소적 미세차별 보장 프로토콜에 대한 선형 최적화 문제에서 표본 복잡도에 대해 가장 날카로운 가능한 하한은 무엇인가?
• RQ2 국소적 미세차별 보장의 표본 복잡도는 중심 모델 대비 차원에 따라 어떻게 스케일링되는가?
• RQ3 국소 모델과 중심 모델 간의 지수적 분리가 자연스러운 문제에 대해 정량적으로 날카로운 형태로 확립될 수 있는가?
• RQ4 상수 요인 최적성으로 국소적 미세차별 보장 하에서 지수 기법을 실행하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ5 복잡한 구조에 의존하지 않고도 더 단순한 증명 기법이 날카로운 하한을 도출할 수 있는가?

주요 결과

• 논문은 단순형 위에서 비상호작용 국소적 미세차별 보장 선형 최적화에 대해 상수 요인 내에서 날카로운 표본 복잡도 하한을 확립한다.
• 이 하한은 국소적 미세차별 보장 하에서 지수 기법에 대해 해당하는 날카로운 하한을 암시한다.
• 국소 모델에서는 표본 복잡도가 차원에 따라 지수적으로 증가하는 반면, 중심 모델에서는 다항식 스케일링을 보인다.
• 이 결과는 이 클래스의 문제에 대해 국소 모델과 중심 모델 간의 지수적 격차를 정량적으로 확인된 날카로운 형태로 드러낸다.
• 이전의 접근 방식(예: 짝수 함수의 학습 이론에서 사용된 것들)보다 증명 기법이 더 단순하고 직접적이다.
• 이전 연구에서 열어두었던 정량적 격차를 메우며, 고차원 최적화에서 국소 프라이버시의 비용을 명확하게 특성화한다.