[논문 리뷰] Differentially private anonymized histograms

Ananda Theertha Suresh|arXiv (Cornell University)|2019. 10. 08.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 민감한 응용 분야(예: 암호문 빈도 목록, 소셜 네트워크의 차수 분포 등)에서 차별적 비밀보장(privacy)을 유지하면서 익명화된 히스토그램—비어 있지 않은 카운트의 멀티셋—을 공개하기 위한 최초의 비차별적(private) 메커니즘을 제안한다. 이 메커니즘은 히스토그램의 보편성 구조에 기반한 새로운 노이즈 추가 전략을 사용하여, 근사적으로 최적에 가까운 비밀보장-유용성 트레이드오프를 달성한다. 입력이 압축형으로 표현될 경우, 하위선형 시간 복잡도를 확보하며, 이는 이산 분포의 대칭적 성질(예: 엔트로피, 지지 집합 크기)을 비차별적 기준 하에서 정확하게 추정할 수 있도록 한다.

ABSTRACT

For a dataset of label-count pairs, an anonymized histogram is the multiset of counts. Anonymized histograms appear in various potentially sensitive contexts such as password-frequency lists, degree distribution in social networks, and estimation of symmetric properties of discrete distributions. Motivated by these applications, we propose the first differentially private mechanism to release anonymized histograms that achieves near-optimal privacy utility trade-off both in terms of number of items and the privacy parameter. Further, if the underlying histogram is given in a compact format, the proposed algorithm runs in time sub-linear in the number of items. For anonymized histograms generated from unknown discrete distributions, we show that the released histogram can be directly used for estimating symmetric properties of the underlying distribution.

연구 동기 및 목표

• 암호문 빈도 목록이나 소셜 네트워크의 차수 분포와 같은 민감한 응용 분야에서 익명화된 히스토그램—비어 있지 않은 카운트의 멀티셋—을 공개하면서 차별적 비밀보장을 유지하는 문제를 해결하기 위해.
• 비밀보장 파라미터 ε와 항목 수 양쪽 모두에서 근사적으로 최적의 비밀보장-유용성 트레이드오프를 달성하는 메커니즘을 개발하기 위해.
• 입력 히스토그램이 보편성 기반 형식으로 압축되어 표현될 경우, 알고리즘이 하위선형 시간 내에 실행되도록 보장하여 효율적인 계산을 가능하게 하기 위해.
• 공개된 비차별적 히스토그램을 직접 사용하여 알려지지 않은 이산 분포의 대칭적 성질(예: 엔트로피, 지지 집합 크기)을 오차가 제한된 범위 내에서 추정할 수 있도록 하기 위해.

제안 방법

• 익명화된 히스토그램의 보편성 카운트(φr)에 노이즈를 추가하는 비차별적 메커니즘을 제안한다. 여기서 φr는 값 r을 가진 레이블의 수이다.
• 히스토그램의 보편성 구조에 맞춰진 새로운 노이즈 분포를 사용하여, 비밀보장을 확보하면서도 유용성 손실를 최소화한다.
• 히스토그램 간의 정렬된 ℓ1 거리 기반 감도 분석을 통해 후속 성질 추정에서 오차 전파를 제한한다.
• 보편성 기반으로 압축된 표현을 활용하여 하위선형 시간 알고리즘을 설계함으로써, 모든 카운트를 명시적으로 나열하지 않고도 효율적인 계산을 가능하게 한다.
• 이산 분포의 대칭적 성질을 추정하기 위한 플러그인 추정기 프레임워크에 비차별적 히스토그램 공개를 통합한다.
• 전체 오차를 세 가지 구성요소로 분해하여 오차 한계를 분석한다: 비차별적 추정기의 추정 오차, 표본 크기의 차이에 의한 왜곡, 히스토그램 근사화에 기인한 오차.

실험 결과

연구 질문

• RQ1 비밀보장 파라미터 ε와 항목 수 양쪽 모두에서 근사적으로 최적의 비밀보장-유용성 트레이드오프를 달성하는 비차별적 메커니즘을 익명화된 히스토그램을 공개하기 위해 설계할 수 있는가?
• RQ2 입력 히스토그램이 보편성 기반 형식으로 압축되어 표현될 경우, 알고리즘이 어떻게 하위선형 시간 복잡도를 달성할 수 있는가?
• RQ3 공개된 비차별적 히스토그램을 직접 사용하여 기저의 이산 분포의 대칭적 성질(예: 엔트로피, 지지 집합 크기)을 오차가 제한된 범위 내에서 추정할 수 있는가?
• RQ4 비차별적 히스토그램을 사용하여 대칭적 성질을 추정할 경우 이론적 오차 한계는 무엇이며, 표본 크기와 비밀보장 파라미터 ε에 따라 어떻게 척도가 조정되는가?
• RQ5 ε의 다양한 영역(예: ε > 1 대비 ε ∈ [Ω(1/n), 1])에서 오차와 표본 복잡도 측면에서 이 메커니즘이 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 메커니즘은 근사적으로 최적의 비밀보장-유용성 트레이드오프를 달성하며, ε > 1일 경우 오차가 O(n^{β−1/2} e^{−cε})로 스케일링되고, ε ∈ [Ω(1/n), 1)일 경우 O(n^{β−1/2} √(1/ε log(2/ε)))로 스케일링된다. 여기서 β < 1/2이다.
• 입력 히스토그램이 보편성 기반으로 압축 표현될 경우 알고리즘이 하위선형 시간 내에 실행되며, 이는 대규모 데이터셋에 대해 효율적임을 의미한다.
• 공개된 비차별적 히스토그램은 엔트로피, 지지 집합 크기, 레니 엔트로피와 같은 대칭적 성질을 위한 플러그인 추정기로 직접 사용될 수 있다.
• 정확한 추정을 위해 필요한 표본 복잡도는 ε > 1일 경우 O((1/(α e^{cε}))^{2/(1−2β)} + (1/ε) log(f_max/α))이며, ε ∈ [Ω(1/n), 1)일 경우 O((√log(2/ε)/(α√ε))^{2/(1−2β)} + (1/ε) log(f_max/(αε)))이다.
• 대칭적 성질 f(p)를 추정할 경우의 오차 한계는 E[|f(p) − f̂^p|] ≤ E[ε( f̂, n)] + n^{β−1/2} e^{−cε} + f(p) e^{−nε} for ε > 1로 유계이며, 더 작은 ε에 대해서도 유사하게 적용되며, 이는 비밀보장 영역 전반에서의 강건성을 보여준다.
• 보편성 벡터의 감도를 제어하고 보정된 노이즈를 적용함으로써 이론적으로 비밀보장과 유용성에 대한 보장을 확보한다.