[논문 리뷰] Locally Private Hypothesis Selection

Sivakanth Gopi, Gautam Kamath외 4명|arXiv (Cornell University)|2020. 02. 21.

Privacy-Preserving Technologies in Data참고 문헌 74인용 수 7

한 줄 요약

이 논문은 사용자가 전송 전에 자신의 데이터를 국지적으로 비공식화하는 국지적 차별적 프라이버시(LDP) 하에서 가설 선택을 위한 새로운 프레임워크를 제안한다. 비상호작용 및 순차적 상호작용 알고리즘을 제시하여 k개의 가설에 대해 Õ(k)의 거의 최적의 표본 복잡도를 달성하며, 기존의 간단한 O(k²) 접근 방식보다 크게 향상되었고, 악성 비교자와 함께 최대 선택 문제에 대한 표본 복잡도와 라운드 복잡도의 날카운 경계를 확립한다.

ABSTRACT

We initiate the study of hypothesis selection under local differential privacy. Given samples from an unknown probability distribution $p$ and a set of $k$ probability distributions $\mathcal{Q}$, we aim to output, under the constraints of $\varepsilon$-local differential privacy, a distribution from $\mathcal{Q}$ whose total variation distance to $p$ is comparable to the best such distribution. This is a generalization of the classic problem of $k$-wise simple hypothesis testing, which corresponds to when $p \in \mathcal{Q}$, and we wish to identify $p$. Absent privacy constraints, this problem requires $O(\log k)$ samples from $p$, and it was recently shown that the same complexity is achievable under (central) differential privacy. However, the naive approach to this problem under local differential privacy would require $ ilde O(k^2)$ samples. We first show that the constraint of local differential privacy incurs an exponential increase in cost: any algorithm for this problem requires at least $Ω(k)$ samples. Second, for the special case of $k$-wise simple hypothesis testing, we provide a non-interactive algorithm which nearly matches this bound, requiring $ ilde O(k)$ samples. Finally, we provide sequentially interactive algorithms for the general case, requiring $ ilde O(k)$ samples and only $O(\log \log k)$ rounds of interactivity. Our algorithms are achieved through a reduction to maximum selection with adversarial comparators, a problem of independent interest for which we initiate study in the parallel setting. For this problem, we provide a family of algorithms for each number of allowed rounds of interaction $t$, as well as lower bounds showing that they are near-optimal for every $t$. Notably, our algorithms result in exponential improvements on the round complexity of previous methods.

연구 동기 및 목표

• 국지적 차별적 프라이버시(LDP) 하에서 개인 데이터가 전송 전에 비공식화되는 조건에서 k개의 후보 분포 집합 중 양호한 분포를 선택하는 문제를 다루는 것.
• 중앙적 DP는 O(log k)의 표본 복잡도를 달성하지만, 간단한 LDP 접근 방식은 O(k²)의 표본이 필요하므로, 중앙적 DP와 국지적 DP 간의 격차를 해소하는 것.
• LDP 하에서 k-방향 단순 가설 검정에 대해 이론적 하한선 Ω(k)에 거의 근접하는 표본 복잡도를 달성하는 효율적인 알고리즘을 개발하는 것.
• 병렬 환경에서 악성 비교자와 함께 최대 선택 문제를 연구하며, 다양한 상호작용 라운드 수에 대해 알고리즘과 날카운 경계를 제공하는 것.

제안 방법

• LDP 하에서 k-방향 단순 가설 검정을 위한 비상호작용 알고리즘을 설계하여 Õ(k)의 표본 수가 필요하며, 이는 Ω(k) 하한선에 거의 근접한다.
• 일반적인 가설 선택을 위한 순차적 상호작용 알고리즘을 도입하여 Õ(k)의 표본 수와 오직 O(log log k)회의 상호작용 라운드만 필요로 한다.
• 일반적인 가설 선택 문제를 악성 비교자와 함께 최대 선택 문제로 환원하여, 새로운 알고리즘 기법의 적용을 가능하게 한다.
• 적절히 선택된 부분집합을 사용한 재귀적 토너먼트 기반 구조를 활용하여 문제의 더 작은 인스턴스를 시뮬레이션함으로써, 프라이버시와 정확성을 보장한다.
• 확률적 분석과 농도 경계(예: 체비셰프 부등식)를 사용하여 라운드 간 실패 확률을 제한하고, 고확률로 정확성을 확보한다.
• 상호작용 라운드 수 t에 대한 귀납법을 적용하여, 임의의 t라운드 알고리즘이 성공할 확률이 최대 1/2 + O(3^t γ)임을 증명함으로써 경계의 날카운 성질을 입증한다.

실험 결과

연구 질문

• RQ1 국지적 차별적 프라이버시 하에서 가설 선택의 최적 표본 복잡도는 무엇이며, 중앙적 DP 설정과 비교해 볼 때 어떻게 다를까?
• RQ2 비상호작용 또는 저상호작용 알고리즘이 LDP 하에서 k-방향 단순 가설 검정에 대해 거의 최적의 표본 복잡도를 달성할 수 있는가?
• RQ3 악성 비교자와 함께 최대 선택 문제의 맥락에서, 상호작용 횟수와 표본 복잡도 사이의 상호 교환 관계는 어떠한가?
• RQ4 어떻게 하면 가설 선택 문제를 프라이버시 제약 조건 하에서 악성 비교자와 함께 병렬 최대 선택 문제로 환원할 수 있는가?
• RQ5 국지적 비공식화 가설 선택에 대해 표본 복잡도와 라운드 복잡도에 대해 날카운 하한 경계가 존재하는가?

주요 결과

• 국지적 비공식화 가설 선택을 위한 어떤 알고리즘도 최소 Ω(k)의 표본 수가 필요하며, 이는 LDP 하에서 표본 복잡도에 대한 기본 하한선을 확립한다.
• k-방향 단순 가설 검정의 경우, 비상호작용 알고리즘이 Õ(k)의 표본 복잡도를 달성하며, 이는 Ω(k) 하한선에 거의 근접한다.
• 일반적인 가설 선택 문제의 경우, 순차적 상호작용 알고리즘이 Õ(k)의 표본 수와 오직 O(log log k)회의 상호작용 라운드만 필요로 하여 이전 방법 대비 라운드 복잡도에서 지수적 향상을 이룬다.
• 논문은 제안된 악성 비교자와 함께 최대 선택 문제에 대한 알고리즘이 모든 상호작용 라운드 수 t에 대해 거의 최적임을 입증하며, 날카운 상한과 하한 경계를 확립한다.
• 분석 결과, 임의의 t라운드 알고리즘이 성공할 확률이 최대 1/2 + O(3^t γ)임을 보여주며, 제안된 알고리즘의 거의 최적성과 함께 이를 입증한다.
• 악성 비교자와 함께 최대 선택 문제로의 환원은 LDP 하에서 효율적이고, 프라이버시 보장이 되며 확장 가능한 가설 선택 프로토콜의 설계를 가능하게 한다.