[논문 리뷰] Structure and Sensitivity in Differential Privacy: Comparing K-Norm Mechanisms

Jordan Awan, Aleksandra Slavković|arXiv (Cornell University)|2018. 01. 28.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 9

한 줄 요약

이 논문은 유한 표본 통계적 추론을 위한 비밀성 보장 기반 통계 분석에서의 비밀성과 유틸리티 간의 상충 관계를 해결하기 위해 K-노름 메커니즘을 최적화하는 프레임워크를 제안한다. 감도 공간의 볼록껍질을 최적의 노름으로 식별함으로써 유틸리티를 크게 향상시킨다. 이 방법을 사용하면 선형 및 로지스틱 회귀 응용에서 동일한 정확도를 유지하면서도 필요한 프라이버시 예산을 최대 50%까지 줄일 수 있음을 입증한다.

ABSTRACT

Differential privacy (DP), provides a framework for provable privacy protection against arbitrary adversaries, while allowing the release of summary statistics and synthetic data. We address the problem of releasing a noisy real-valued statistic vector $T$, a function of sensitive data under DP, via the class of $K$-norm mechanisms with the goal of minimizing the noise added to achieve privacy. First, we introduce the sensitivity space of $T$, which extends the concepts of sensitivity polytope and sensitivity hull to the setting of arbitrary statistics $T$. We then propose a framework consisting of three methods for comparing the $K$-norm mechanisms: 1) a multivariate extension of stochastic dominance, 2) the entropy of the mechanism, and 3) the conditional variance given a direction, to identify the optimal $K$-norm mechanism. In all of these criteria, the optimal $K$-norm mechanism is generated by the convex hull of the sensitivity space. Using our methodology, we extend the objective perturbation and functional mechanisms and apply these tools to logistic and linear regression, allowing for private releases of statistical results. Via simulations and an application to a housing price dataset, we demonstrate that our proposed methodology offers a substantial improvement in utility for the same level of risk.

연구 동기 및 목표

• 유한 표본 설정에서의 비밀성 보장 기반 통계 분석에서 비밀성과 유틸리티 간의 상충 관계를 해결하기 위해.
• 표준 L1/L2 노름을 초월하여 K-노름 메커니즘을 체계적으로 비교할 수 있는 방법을 개발하기 위해.
• 비밀성 보장을 유지하면서 노이즈를 최소화하는 최적의 K-노름 메커니즘을 특정하기 위해.
• 감도 공간 분석을 활용하여 기능적 및 목적 함수 편향 메커니즘을 확장하여 사생활 보장 회귀를 수행하기 위해.
• 유사한 정확도를 유지할 때 필요한 프라이버시 손실 예산 ε 를 줄임으로써 비밀성 보장의 실용적 이용 가능성을 향상시키기 위해.

제안 방법

• 통계량 T 의 감도 공간을 도입하여, 감도 다면체 및 감도 껍질 개념을 임의의 실수 통계량으로 일반화한다.
• 세 가지 비교 기준을 제안한다: 다변량 확률적 지배, 메커니즘 엔트로피, 각 방향별 조건부 분산.
• 최적의 K-노름 메커니즘이 감도 공간의 볼록껍질에 의해 생성됨을 증명한다.
• 사생활 보장 선형 및 로지스틱 회귀를 위한 목적 함수 편향 및 기능적 메커니즘에 이 프레임워크를 적용한다.
• 몬테카를로 시뮬레이션과 실제 주택 데이터를 사용하여 다양한 K-노름에서의 성능을 평가한다.
• 통계량을 동일하게 스케일링하면 방향별 분산 불균형이 완화되어 성능 순위가 뒤바뀌는 현상이 방지됨을 입증한다.

실험 결과

연구 질문

• RQ1 주어진 통계량 T 에 대해 비밀성 보장을 만족하면서 노이즈를 최소화하는 K-노름 메커니즘은 무엇인가?
• RQ2 다변량 확률적 지배와 엔트로피는 어떻게 K-노름 메커니즘을 비교하는 데 사용될 수 있는가?
• RQ3 감도 공간의 볼록껍질은 다양한 손실 함수에 대해 일관되게 최적의 K-노름 메커니즘을 제공하는가?
• RQ4 제안된 프레임워크는 유사한 정확도를 유지하면서도 필요한 프라이버시 손실 예산 ε 를 줄일 수 있는가?
• RQ5 모든 방향에서 조건부 분산이 더 높은 경우에도, 더 큰 노름 구역 H 가 더 작은 K-노름 메커니즘보다 경계 분산 또는 손실 측면에서 우월한 조건은 무엇인가?

주요 결과

• 감도 공간의 볼록껍질은 다변량 확률적 지배, 엔트로피, 조건부 분산이라는 세 가지 비교 기준 모두에서 일관되게 최적의 K-노름 메커니즘을 생성한다.
• 선형 및 로지스틱 회귀에서 제안된 방법은 기존 표준 메커니즘과 동일한 정확도를 달성하면서도 약 50%의 프라이버시 손실 예산 ε 를 절감한다.
• 반례에서, K 가 모든 방향에서 더 낮은 조건부 분산을 가짐에도 불구하고, 더 큰 노름 구역 H 는 기대 ℓ₁, ℓ₂, ℓ∞ 손실 측면에서 더 뛰어난 성능을 보였다.
• 이 성능 역전 현상은 변수 간 비균형적인 스케일링으로 인해 발생하며, 유틸리티 지표에서 다변량 '시뮬슨의 역설'을 보여준다.
• 변수들이 동일하게 스케일링될 경우, 볼록껍질 기반 K-노름 메커니즘은 모든 유틸리티 지표에서 대안보다 일관되게 뛰어난 성능을 보인다.
• 이 프레임워크는 특히 회귀 및 합성 데이터 생성에서, 유한 표본에 대한 비밀성 보장 기반 통계적 추론의 실용적 유틸리티를 크게 향상시킨다.