[논문 리뷰] Differentially Private Analysis of Outliers

Rina Okada, Kazuto Fukuchi외 2명|arXiv (Cornell University)|2015. 07. 24.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 4

한 줄 요약

이 논문은 거리 기반 이상치 분석을 위한 비밀성 보장 방법을 제안하며, 스무스 감도(smooth sensitivity)와 지수 기반 메커니즘(exponential mechanism)을 사용하여 이상치 수세기 및 부분공간 탐지에서 노이즈를 감소시킨다. 특히 높은 프라이버시 예산에서 기존의 글로벌 감도 기반 접근 방식에 비해 노이즈가 최대 30배 적게 발생하여 고차원 데이터에서 실용적인 유용성을 확보한다.

ABSTRACT

This paper investigates differentially private analysis of distance-based outliers. The problem of outlier detection is to find a small number of instances that are apparently distant from the remaining instances. On the other hand, the objective of differential privacy is to conceal presence (or absence) of any particular instance. Outlier detection and privacy protection are thus intrinsically conflicting tasks. In this paper, instead of reporting outliers detected, we present two types of differentially private queries that help to understand behavior of outliers. One is the query to count outliers, which reports the number of outliers that appear in a given subspace. Our formal analysis on the exact global sensitivity of outlier counts reveals that regular global sensitivity based method can make the outputs too noisy, particularly when the dimensionality of the given subspace is high. Noting that the counts of outliers are typically expected to be relatively small compared to the number of data, we introduce a mechanism based on the smooth upper bound of the local sensitivity. The other is the query to discovery top-$h$ subspaces containing a large number of outliers. This task can be naively achieved by issuing count queries to each subspace in turn. However, the variation of subspaces can grow exponentially in the data dimensionality. This can cause serious consumption of the privacy budget. For this task, we propose an exponential mechanism with a customized score function for subspace discovery. To the best of our knowledge, this study is the first trial to ensure differential privacy for distance-based outlier analysis. We demonstrated our methods with synthesized datasets and real datasets. The experimental results show that out method achieve better utility compared to the global sensitivity based methods.

연구 동기 및 목표

• 이상치 탐지와 비밀성 보장 간의 본질적 갈등을 해결하기 위해, 이상치를 식별하는 것이 개인 데이터를暴露할 위험이 있다는 점을 고려한다.
• 개별 사례를 드러내지 않고 이상치의 통계적 행동을 드러내는 비밀성 보장 쿼리를 개발한다.
• 이상치 수세기 및 부분공간 탐지에서의 노이즈를 감소시켜 고차원 데이터에서의 유용성을 향상시킨다.
• 비밀성 보장 조건 하에서 스무스 감도 평가 및 부분공간 스코어링을 위한 효율적인 알고리즘을 설계한다.
• 합성 및 실세계 데이터셋에 대한 실험을 통해 실용적 적용 가능성을 입증한다.

제안 방법

• 실제 이상치 수에 따라 적응하는 데이터 기반 노이즈를 활용하여 비밀성 보장 이상치 수세기의 스무스 감도 기반 메커니즘을 제안한다.
• 이상치 수의 국소 감도에 대한 스무스 상한을 효율적으로 계산하기 위한 알고리즘을 도입하여 계산 비용을 감소시킨다.
• 고유한 점수 함수를 사용한 지수 기반 메커니즘을 적용하여 이상치 밀도가 높은 상위-h 부분공간을 탐지함으로써 프라이버시 예산 소비를 최소화한다.
• 순차적 복합 기법을 사용하여 반복적으로 부분공간을 선택함으로써 비밀성 보장 보장 하에 정확도와 프라이버시의 균형을 유지한다.
• 최소 봉투 구 알고리즘을 적용하여 부분공간 내 이상치 여부를 계산함으로써 거리 기반 이상치 탐지의 강건성을 확보한다.
• 프라이버시 파rameter ε를 사용하여 라플라스 및 가우시안 노이즈 메커니즘을 적용하여 (ε, δ)-비밀성 보장(ε, δ)-differential privacy를 확보한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 글로벌 감도 기반 방법에 비해 더 정확한 비밀성 보장 이상치 수세기를 달성할 수 있는가?
• RQ2 스무스 감도는 비밀성 보장 하에서 이상치 수세기 적용에 있어 효율적으로 계산되고 적용될 수 있는가?
• RQ3 맞춤형 점수 함수를 사용한 지수 기반 메커니즘은 고차원 환경에서 프라이버시를 유지하면서 부분공간 탐지 성능을 향상시킬 수 있는가?
• RQ4 비밀성 보장 예산(ε)과 유용성(정밀도/재현율) 간의 상호 교환 관계는 어떻게 되는가?
• RQ5 기본적인 글로벌 감도 기반 접근 방식에 비해 제안된 방법은 노이즈 크기와 유용성 측면에서 어떻게 비교되는가?

주요 결과

• 스무스 감도 기반 메커니즘은 글로벌 감도 기반 방법 대비 노이즈 표준편차를 최대 30배 감소시켰다. 이는 하한 값이 존재하는 경우에도 마찬가지로 성립한다.
• ε ≥ 0.7일 경우, 스무스 감도 메커니즘은 노이즈 표준편차를 7 이하로 유지하여 실용적인 프라이버시 정책 범위에서 뛰어난 유용성을 입증했다.
• 이 메커니즘의 노이즈는 데이터 차원성과 무관하게 이상치 수에만 의존하므로 고차원 부분공간으로의 확장성 확보가 가능하다.
• 상위-h 부분공간 탐지에서 h가 증가함에 따라 정밀도는 감소하고, 진짜 부분공간을 선택할 확률이 높아져 재현율은 향상되었다.
• 높은 h 값에서 순차적 복합 효과가 지배적으로 작용하여 진짜 부분공간 탐지 확률이 증가함에도 불구하고 재현율이 감소함을 확인하여 유용성 간의 상충 관계를 확인했다.
• 효율적인 프라이버시 예산 사용 덕분에 제안된 방법은 특히 고차원 환경에서 기존 기준 방법보다 더 높은 탐지 정확도를 달성했다.