[논문 리뷰] PrivTree: A Differentially Private Algorithm for Hierarchical Decompositions

Jun Zhang, Xiaokui Xiao외 1명|arXiv (Cornell University)|2016. 01. 13.

Cryptography and Data Security참고 문헌 54인용 수 23

한 줄 요약

PrivTree는 날카러진 라플라스 분포 분석에 기반한 새로운 노이즈 메커니즘을 사용하여 사전 정의된 재귀 깊이가 필요 없도록 하며, 계층적 데이터 분해를 위한 차별적(private) 알고리즘이다. 분할 결정 시 일정한 노이즈만을 주입함으로써 데이터 유용성을 향상시켜, 공간 데이터 및 시퀀스 데이터 공개에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Given a set D of tuples defined on a domain Omega, we study differentially private algorithms for constructing a histogram over Omega to approximate the tuple distribution in D. Existing solutions for the problem mostly adopt a hierarchical decomposition approach, which recursively splits Omega into sub-domains and computes a noisy tuple count for each sub-domain, until all noisy counts are below a certain threshold. This approach, however, requires that we (i) impose a limit h on the recursion depth in the splitting of Omega and (ii) set the noise in each count to be proportional to h. This leads to inferior data utility due to the following dilemma: if we use a small h, then the resulting histogram would be too coarse-grained to provide an accurate approximation of data distribution; meanwhile, a large h would yield a fine-grained histogram, but its quality would be severely degraded by the increased amount of noise in the tuple counts. To remedy the deficiency of existing solutions, we present PrivTree, a histogram construction algorithm that also applies hierarchical decomposition but features a crucial (and somewhat surprising) improvement: when deciding whether or not to split a sub-domain, the amount of noise required in the corresponding tuple count is independent of the recursive depth. This enables PrivTree to adaptively generate high-quality histograms without even asking for a pre-defined threshold on the depth of sub-domain splitting. As concrete examples, we demonstrate an application of PrivTree in modelling spatial data, and show that it can also be extended to handle sequence data (where the decision in sub-domain splitting is not based on tuple counts but a more sophisticated measure). Our experiments on a variety of real datasets show that PrivTree significantly outperforms the states of the art in terms of data utility.

연구 동기 및 목표

• 재귀 깊이와 노이즈 증폭 사이의 근본적 딜레마를 해결하기 위해: 재귀 깊이와 노이즈 증폭 사이의 상충 관계를 해결한다.
• 사전에 정의된 최대 재귀 깊이 $ h $ 가 필요 없도록 하여, 개인정보 보호 또는 유용성에 영향을 주는 것을 방지한다.
• 차별적(private) 보장을 보장하면서도, 비공개 데이터에 대해 세밀하고 정확한 히스토GRAM 구축을 가능하게 하는 메커니즘을 개발한다.
• 카운트 기반 분해 외의 접근, 예를 들어 마르코프 모델을 사용한 시퀀스 데이터에 대한 확장 가능성을 확보한다.
• 실제 데이터셋에서 기존 최신 기술 대비 뛰어난 데이터 유용성 향상을 입증한다.

제안 방법

• PrivTree는 라플라스 분포의 정밀한 분석을 활용하여 재귀 깊이와 무관하게 개인정보 泄露를 제한하는 새로운 개인정보 보호 메커니즘을 사용한다.
• 재귀 깊이 $ h $ 에 비례하지 않는 일정한 노이즈 메커니즘을 도입하여 하위 도메인을 분할할지 여부를 결정한다.
• 알고리즘은 고정된 노이즈 스케일을 가진 노이즈가 포함된 카운트를 사용하여 도메인을 재귀적으로 하위 도메인으로 분할하며, $ \varepsilon $-차별적(private) 보장을 보장한다.
• 시퀀스 데이터의 경우, 원시적인 카운트가 아닌 시퀀스 패턴의 가능성에 기반하여 하위 도메인 분할 여부를 평가하기 위해 마르코프 모델을 통합한다.
• 이 방법은 다차원 공간 히스토GRAM 및 $ \varepsilon $-차별적(private) 보장 하에 시퀀스의 빈번한 패턴 탐색을 모두 지원한다.
• 격자 기반 모델과의 호환성과 다른 분해 작업으로의 확장 가능성을 고려하여 설계되었다.

실험 결과

연구 질문

• RQ1 재귀 깊이 $ h $ 를 고정하지 않고도 차별적(private) 보장 하에 계층적 분해를 달성할 수 있는가? 이는 유용성-개인정보 보호 상충 관계를 피할 수 있는가?
• RQ2 나무의 깊이에 관계없이 분할 결정에 일정한 양의 노이즈를 사용할 수 있으며, 여전히 차별적(private) 보장을 확보할 수 있는가?
• RQ3 공간 및 시퀀스 데이터에서 PrivTree는 최신 기술 대비 데이터 유용성 측면에서 어떻게 비교되는가?
• RQ4 핵심 메커니즘을 카운트 기반 외의 분해, 예를 들어 시퀀스 패턴 탐지로 확장할 수 있는가?
• RQ5 개인정보 예산 $ \varepsilon $ 는 시퀀스 재구성 및 패턴 복구 정확도에 어떤 영향을 미치는가?

주요 결과

• 공간 데이터에서 PrivTree는 최신 기술 대비 뛰어난 데이터 유용성을 보이며, 범위 카운트 쿼리에서 상대 오차가 낮다.
• 시퀀스 데이터 공개에서 PrivTree는 $ \varepsilon \geq 0.2 $ 인 고개인정보 예산에서 N-gram 및 Truncate보다 더 높은 정밀도를 달성한다.
• PrivTree가 생성한 시퀀스 길이 분포의 총 변동 거리(Total Variation Distance)는 Truncate와 유사하며, N-gram보다 훨씬 낮아, 분포의 정밀도가 뛰어나다.
• EM 기반 방법은 $ k $ 가 증가함에 따라 정확도가 떨어지지만, PrivTree는 모든 설정에서 일관된 성능을 유지한다.
• 마르코프 모델을 사용한 시퀀스 데이터 확장은 잘린 시퀀스의 정확한 복구를 가능하게 하여, 패턴 재구성에서 뛰어난 강건성을 보였다.
• 히ュ리스틱 기반 접근이 실패하는 비대칭적인 실세계 데이터셋에서도 PrivTree의 성능은 안정적이고 효과적이다.