[논문 리뷰] INSPECTRE: Privately Estimating the Unseen

Jayadev Acharya, Gautam Kamath외 2명|arXiv (Cornell University)|2018. 02. 28.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 5

한 줄 요약

INSPECTRE는 민감도 분석과 라플라스 노이즈를 활용해 최신 비민감도 기반 방법을 적응시켜 기본 분포 성질—지원 크기, 지원 커버리지, 엔트로피—에 대해 차별적 비밀보장 추정기를 제안한다. 핵심 기여는 비밀보장의 비용이 거의 없으며, $1/\alpha\varepsilon$에 비례하는 작은加법적 오버헤드만을 유발함으로써 고차원적 또는 희박한 설정에서도 비밀보장 추정이 가능하다는 것이다.

ABSTRACT

We develop differentially private methods for estimating various distributional properties. Given a sample from a discrete distribution $p$, some functional $f$, and accuracy and privacy parameters $α$ and $\varepsilon$, the goal is to estimate $f(p)$ up to accuracy $α$, while maintaining $\varepsilon$-differential privacy of the sample. We prove almost-tight bounds on the sample size required for this problem for several functionals of interest, including support size, support coverage, and entropy. We show that the cost of privacy is negligible in a variety of settings, both theoretically and experimentally. Our methods are based on a sensitivity analysis of several state-of-the-art methods for estimating these properties with sublinear sample complexities.

연구 동기 및 목표

• 자료가 부족하고 민감한 정보를 포함할 때 이산 분포에서 희귀 사건을 추정하는 데 도전하는 것.
• 비밀보장성을 유지하면서도 지원 크기, 지원 커버리지, 엔트로피와 같은 핵심 분포 성질을 정확하게 추정할 수 있는 차별적 비밀보장 알고리즘을 개발하는 것.
• 비밀보장 추정에 필요한 샘플 복잡도를 최소화하여 계산 효율성과 실용적 적용 가능성을 확보하는 것.
• 도메인 크기 $k$가 크고 비밀보장 예산 $\varepsilon$가 중간 수준일 때, 차별적 비밀보장의 비용이 거의 무시할 수 있을 정도로 낮다는 것을 입증하는 것.

제안 방법

• 입력 변경에 대한 민감도를 분석하여 이전 연구에서 제안한 비민감도 추정기(예: 지원 커버리지에 대한 SGT 및 엔트로피와 지원 크기의 다른 추정기)를 적응시키는 것.
• 추정기의 민감도에 비례하는 노이즈를 추가하여 $(\varepsilon, 0)$-차별적 비밀보장 보장을 보장하는 라플라스 메커니즘을 적용하는 것.
• 이전 연구의 이론적 통찰에 기반해 샘플에서 유도된 데이터 의존적 매개변수 $r$을 사용하여 노이즈 스케일을 제어하는 것.
• 기존의 하위선형 샘플 추정기의 비밀보장 버전을 구현하여 통계적 효율성을 유지하면서도 비밀보장 보장을 추가하는 것.
• 추정기의 구조와 비밀보장 매개변수 $\varepsilon$에 따라 달라지는 민감도 한계 $2(1 + e^{r(t-1)})/\varepsilon$를 사용해 노이즈를 校정하는 것.
• 합성 데이터, 미국 인구 조사 데이터, 셰익스피어의 헤먼틀에서의 광범위한 실험을 통해 비민감도 기반 기준선과 비교하여 성능을 검증하는 것.

실험 결과

연구 질문

• RQ1 엔트로피, 지원 커버리지, 지원 크기와 같은 분포 성질을 비밀보장으로 추정하기 위해 필요한 최소 샘플 복잡도는 얼마인가?
• RQ2 정확도 $\alpha$, 비밀보장 예산 $\varepsilon$, 도메인 크기 $k$에 비례하여 차별적 비밀보장의 비용은 어떻게 변화하는가?
• RQ3 비민감도 방법에 비해 작은 加법적 오버헤드만으로도 복잡한 분포 성질의 비밀보장 추정이 가능할 수 있는가?
• RQ4 어떤 설정에서 비밀보장 비용이 무시할 수 없을 정도로 낮아지고, 성능 저하가 심각해지는가?
• RQ5 희박성 또는 과도한 샘플링이 있는 실세계 데이터셋(예: 인구 조사 데이터 또는 문학 텍스트)에서 비밀보장 추정기는 어떻게 작동하는가?

주요 결과

• 엔트로피의 비밀보장 추정을 위한 샘플 복잡도는 $O(1/\alpha\varepsilon)$의 加법적 비용을 유발하며, 이는 거의 최적이며 도메인 크기 $k$에 영향을 받지 않는다.
• 큰 $k$의 경우, $k \gg 1/\alpha\varepsilon$인 영역에서 비밀보장 오버헤드는 $o(1)$이므로, 본질적인 샘플 복잡도에 비밀보장 비용이 거의 추가되지 않는다.
• 합성 데이터에 대한 실험 결과, $\varepsilon = 1, 2, 10$일 때 비밀보장 추정기의 RMSE는 비민감도 SGT 추정기와 거의 구분되지 않는다.
• 실세계 데이터셋인 2000년 미국 인구 조사 및 셰익스피어의 헤먼틀에서 비밀보장 추정기는 $\varepsilon = 0.5$일 때조차도 비민감도 기준선과 거의 동일한 성능을 달성한다.
• 작은 지원 크기(예: $k \approx 100$)에서는 이웃하는 데이터셋 간의 지원 크기가 매우 다를 수 있어 비밀보장 비용이 상당히 커지며, 이는 본질적인 상충관계를 초래한다.
• 이론적 하한값은 샘플 복잡도에 대한 상한값이 거의 타당함을 확인하여 제안된 방법의 효율성을 검증한다.