[논문 리뷰] Locally private non-asymptotic testing of discrete distributions is faster using interactive mechanisms

Thomas B. Berrett, Cristina Butucea|arXiv (Cornell University)|2020. 05. 26.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 13

한 줄 요약

이 논문은 $\alpha$-국소적 차별적 프라이버시 하에서 이산 분포의 비점근적 적합도 검정에 대한 최적의 분리율을 확립하며, 상호작용 기반 프라이버시 메커니즘이 비상호작용 메커니즘보다 훨씬 빠른 속도를 제공함을 보여준다. 이는 라플라스 노이즈를 적용한 후에 프라이빗 인코딩을 수행하는 두 단계의 상호작용 메커니즘을 제안하여 균일, 다항, 지수적으로 감소하는 분포에 대해 최소최대 최적 성능을 달성한다.

ABSTRACT

We find separation rates for testing multinomial or more general discrete distributions under the constraint of local differential privacy. We construct efficient randomized algorithms and test procedures, in both the case where only non-interactive privacy mechanisms are allowed and also in the case where all sequentially interactive privacy mechanisms are allowed. The separation rates are faster in the latter case. We prove general information theoretical bounds that allow us to establish the optimality of our algorithms among all pairs of privacy mechanisms and test procedures, in most usual cases. Considered examples include testing uniform, polynomially and exponentially decreasing distributions.

연구 동기 및 목표

• 국소적 차별적 프라이버시 하에서 이산 분포의 적합도 검정에 대한 최적의 분리율을 규명하여, 근본 가설에서 충분히 떨어진 분포에 대해 낮은 오류 확률을 보장하는 것.
• 비점근적 가설 검정의 맥락에서 비상호작용 대비 상호작용 프라이버시 메커니즘의 통계적 성능을 비교하는 것.
• 국소 프라이버시 제약 조건 하에서 가장 빠른 분리율을 달성하는 효율적이고 통계적으로 최적의 프라이버시 메커니즘과 검정 절차의 조합을 구성하는 것.
• 제안된 방법의 최적성을 입증하는 정보이론적 하한선을 도출하여 대부분의 표준 케이스(균일, 다항 감소, 지수 감소 분포 포함)에서의 최소최대 최적성 확보.

제안 방법

• 두 단계의 상호작용 프라이버시 메커니즘 제안: 첫째, 표본의 첫 반을 대상으로 라플라스 메커니즘을 적용하여 분포 확률을 추정하고, 둘째, 두 번째 반을 사용하여 이러한 추정치를 프라이빗하게 인코딩한다.
• 국소적 차별적 프라이버시 하에서 적합도 검정을 수행하기 위해 프라이빗 인코딩된 추정치를 바탕으로 $\chi^{2}$-유형 검정 통계량을 구성한다.
• 상호정보량과 Fano 유형 부등식을 사용하여 일반적인 정보이론적 하한선을 유도하여 분리율의 최소최대 최적성을 입증한다.
• 특정 분포에 대한 프레임워크 적용: 거의 균일, 다항 감소($p_0(j) \propto j^{-1-\beta}L(j)$), 지수 감소($p_0(j) \propto \exp(-j^\beta)$) 분포.
• 꼬리 합의 점근적 분석과 적분 근사법을 사용하여 기대 오차와 분리율을 근사하고, 특히 무거운 尾 꼬리나 희박한 분포의 경우에 초점을 맞춘다.
• 표본 크기와 프라이버시 수준에 따라 분리율의 상한을 기술하는 데 사용되는 임계값 $x_{n\alpha^2} = \inf\{x \geq 1 : L(x) < x^{3/4+\beta}/(n\alpha^2)^{1/2}\}$을 도입한다.

실험 결과

연구 질문

• RQ1 국소적 차별적 프라이버시 하에서 이산 분포의 비점근적 적합도 검정에 대한 최적의 분리율은 무엇인가?
• RQ2 이 설정에서 상호작용 기반 프라이버시 메커니즘이 비상호작용 기반 메커니즘보다 분리율을 어떻게 향상시키는가?
• RQ3 제안된 상호작용 메커니즘이 다양한 분포 유형에 대해 분리율 측면에서 최소최대 최적성을 달성할 수 있는가?
• RQ4 국소적 차별적 프라이버시 하에서 검정 성능의 정보이론적 한계는 무엇이며, 근본 분포의 꼬리 행동에 따라 어떻게 달라지는가?
• RQ5 유도된 하한선이 기존 프라이버시 메커니즘의 성능과 얼마나 일치하는가, 특히 점근적이지 않은 영역에서의 성능에 대해 어느 정도인가?

주요 결과

• 상호작용 기반 메커니즘은 비상호작용 기반 메커니즘보다 더 빠른 분리율을 달성하며, 특히 꼬리가 두꺼운 또는 희박한 분포에서의 속도 향상이 가장 두드러진다.
• 다항 감소 분포 $p_0(j) \propto j^{-1-\beta}L(j)$의 경우 비상호작용 분리율은 $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \lesssim \frac{\min(x_{n\alpha^2}, d)^{3/4}}{(n\alpha^2)^{1/2}}$이며, 로그 인자 외에는 하한선과 일치한다.
• 지수 감소 분포 $p_0(j) \propto \exp(-j^\beta)$의 경우 분리율은 $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \lesssim \min\left\{\frac{\log^{3/(4\beta)}(n\alpha^2)}{(n\alpha^2)^{1/2}}, \frac{d^{3/4}}{(n\alpha^2)^{1/2}}\right\}$이며, 하한선과 일치한다.
• 하한선 분석 결과, 다항 꼬리의 경우 $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \gtrsim \frac{\{(n\alpha^2)/\log(n\alpha^2)\}^{(3/4)/(2\beta+3/2)} \wedge d^{3/4}}{(n\alpha^2)^{1/2}}$임을 입증하여 근사 최적성을 보여준다.
• 지수 감소 케이스의 하한선은 상한선과 정확히 일치하여 $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \gtrsim \min\left\{\frac{\log^{3/(4\beta)}(n\alpha^2)}{\sqrt{n\alpha^2}}, \frac{d^{3/4}}{\sqrt{n\alpha^2}}\right\}$임을 확인하며 최적성을 입증한다.
• 결과는 점근적이지 않으며 유한한 표본 크기에서도 유효하므로, 실세계의 프라이버시 보장 통계적 검정에 적용 가능하다.