[논문 리뷰] Privately detecting changes in unknown distributions

Rachel Cummings, Sara Krehbiel외 2명|arXiv (Cornell University)|2019. 10. 03.

Advanced Statistical Process Monitoring참고 문헌 33인용 수 5

한 줄 요약

이 논문은 사전 및 사후 변화 분포가 알려져 있지 않은 데이터 스트림에서 비모수적 변화점 탐지에 대한 차별적 비밀보장 알고리즘을 제안한다. 민감도가 통제된 맨-유티티 기반 검정 통계량을 활용하여 저자들은 선형 추세에서의 변화를 탐지할 수 있는 사전 및 실시간 알고리즘(PNCPD 및 OnlinePNCPD)을 설계하였으며, 부드러운 분포 이동 조건에서도 강력한 비밀보장과 경험적 정확도를 달성한다.

ABSTRACT

The change-point detection problem seeks to identify distributional changes in streams of data. Increasingly, tools for change-point detection are applied in settings where data may be highly sensitive and formal privacy guarantees are required, such as identifying disease outbreaks based on hospital records, or IoT devices detecting activity within a home. Differential privacy has emerged as a powerful technique for enabling data analysis while preventing information leakage about individuals. Much of the prior work on change-point detection---including the only private algorithms for this problem---requires complete knowledge of the pre-change and post-change distributions. However, this assumption is not realistic for many practical applications of interest. This work develops differentially private algorithms for solving the change-point problem when the data distributions are unknown. Additionally, the data may be sampled from distributions that change smoothly over time, rather than fixed pre-change and post-change distributions. We apply our algorithms to detect changes in the linear trends of such data streams. Finally, we also provide experimental results to empirically validate the performance of our algorithms.

연구 동기 및 목표

• 감시 데이터를 포함한 실제 응용에서 흔히 발생하는 사전 및 사후 변화 분포가 알려져 있지 않은 경우의 비밀보장 변화점 탐지에 대한 격차를 해소하기 위해.
• 사후 변화 분포에 대한 비모수적 가정이 필요 없는 차별적 비밀보장 알고리즘을 개발하여 보다 넓은 실용적 적용 가능성을 확보하기 위해.
• 갑작스러운 변화가 아닌 부드럽고 시간에 따라 변화하는 분포 변화가 발생하는 환경으로 비밀보장 변화점 탐지를 확장하기 위해.
• 선형 이동과 i.i.d. 노이즈를 포함한 현실적인 데이터 생성 모델 하에서 비밀보장 탐지 알고리즘의 성능을 경험적으로 검증하기 위해.

제안 방법

• 변화점 후보 지점 이전과 이후의 값을 비교하는 비모수적 순서 기반 검정으로, 민감도가 낮은 맨-유티티 U 검정 통계량을 사용한다.
• 맨-유티티 통계량의 민감도에 맞춰 노이즈를 추가함으로써 차별적 비밀보장을 적용하며, 이 민감도는 크기가 n인 데이터셋에 대해 O(1/n)이다.
• 모든 변화점 후보에 대해 검정 통계량을 평가하고 최대 비밀보장 점수를 가진 것을 선택하는 사전 알고리즘(PNCPD)을 설계한다.
• 슬라이딩 윈도우와 임계값을 활용하여 실시간으로 변화를 탐지하면서도 비밀보장을 유지하는 실시간 알고리즘(OnlinePNCPD)을 개발한다.
• 선형 이동을 탐지할 수 있도록 관측치를 변환하여, 비i.i.d. 데이터에 부드러운 변화가 있는 경우에도 순서 기반 검정을 적용할 수 있도록 한다.
• 다양한 비밀보장 파rameter(ε) 하에서 거짓 경고율과 추정 정확도를 평가하기 위해 몬테카를로 시뮬레이션을 실시하고, 합성 데이터를 사용한다.

실험 결과

연구 질문

• RQ1 사전 및 사후 변화 분포가 완전히 알려져 있지 않은 경우에도 차별적 비밀보장 변화점 탐지를 달성할 수 있는가?
• RQ2 저민감도 비모수적 통계량을 활용하여 비모수적 가정 없이 비밀보장 변화점 탐지기를 설계할 수 있는가?
• RQ3 차별적 비밀보장 변화점 탐지를 갑작스러운 변화가 아닌 부드럽고 시간에 따라 변화하는 분포 변화가 있는 환경으로 확장할 수 있는가?
• RQ4 알려지지 않은 분포 하에서 비밀보장(ε)과 탐지 정확도 사이의 경험적 트레이드오프는 어떠한가?

주요 결과

• ε = 5 및 ε = 10일 때 PNCPD 알고리즘은 진짜 변화점과의 오차가 0.4 이내로 유지되며, 변화점이 포함된 윈도우를 올바르게 식별할 경우 오차가 크게 감소한다.
• ε = 1일 때 전체 오차율은 0.4 이하로 유지되지만, 주요 오류 원인은 올바른 윈도우 식별 실패이지, 올바른 윈도우 내에서의 추정 오차가 아니다.
• OnlinePNCPD 알고리즘은 ε = 5 및 ε = 10일 때 거짓 경고율을 0.1 이하로 제어하며, 이론적 한계가 빈 범위를 가리키지만 T = 0.8의 임계값이 경험적으로 효과적이다.
• 맨-유티티 검정 통계량은 낮은 민감도(O(1/n))를 보이며, 비모수적 환경에서 차별적 비밀보장에 매우 적합하다.
• 시뮬레이션 결과, 제안된 알고리즘은 분포가 알려져 있지 않은 선형 이동 모델에서 노이즈가 존재하는 경우에도 강력한 비밀보장 보장을 유지하면서 변화를 탐지함을 보였다.
• 임계값에 대한 이론적 한계는 지나치게 보수적이며, 경험적 결과는 추정된 파rameter를 사용해 실용적인 임계값을 효과적으로 설정할 수 있음을 시사한다.