[논문 리뷰] PAPRIKA: Private Online False Discovery Rate Control

Wanrong Zhang, Gautam Kamath외 1명|arXiv (Cornell University)|2020. 02. 27.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 4

한 줄 요약

PAPRIKA는 개인 데이터 포인트에 대한 강력한 프rivacy 보장과 통계적 보장을 동시에 확보하면서 실시간 결정을 가능하게 하는 새로운 차별적 프라이버시를 갖춘 온라인 알고리즘을 도입한다. 다중 가설 검정에서의 거짓 발견률(FDR) 제어를 위해 사전에 설정된 임계값과 적응형 웰스 관리 전략을 조합함으로써, ε-차별적 프라이버시 하에서 기존의 단순화된 프라이버시화 방법에 비해 FDR 제어 및 통계적 검정력에서 뛰어난 성능을 달성한다.

ABSTRACT

In hypothesis testing, a false discovery occurs when a hypothesis is incorrectly rejected due to noise in the sample. When adaptively testing multiple hypotheses, the probability of a false discovery increases as more tests are performed. Thus the problem of False Discovery Rate (FDR) control is to find a procedure for testing multiple hypotheses that accounts for this effect in determining the set of hypotheses to reject. The goal is to minimize the number (or fraction) of false discoveries, while maintaining a high true positive rate (i.e., correct discoveries). In this work, we study False Discovery Rate (FDR) control in multiple hypothesis testing under the constraint of differential privacy for the sample. Unlike previous work in this direction, we focus on the online setting, meaning that a decision about each hypothesis must be made immediately after the test is performed, rather than waiting for the output of all tests as in the offline setting. We provide new private algorithms based on state-of-the-art results in non-private online FDR control. Our algorithms have strong provable guarantees for privacy and statistical performance as measured by FDR and power. We also provide experimental results to demonstrate the efficacy of our algorithms in a variety of data environments.

연구 동기 및 목표

• 개별 데이터 포인트에 대한 차별적 프라이버시를 보장하면서도 온라인 다중 가설 검정에서 거짓 발견률(FDR)을 제어하는 문제를 해결하기 위해.
• 가설이 순차적으로 검정되고 즉각적인 결정이 요구되는 상황에서도 높은 통계적 검정력과 강력한 FDR 제어를 유지할 수 있는 프라이버시 보장 온라인 알고리즘을 설계하기 위해.
• 모든 p-값을 사전에 확보해야 하는 이전의 오프라인 프라이버시 FDR 방법의 한계를 극복하기 위해, 스트리밍 또는 적응형 데이터 분석 환경에서 실용적이지 않은 점을 해결하기 위해.
• 온라인 환경에서 프라이버시(ε-차별적 프라이버시)와 통계 성능(FDR 및 검정력)에 대한 증명 가능한 보장을 제공하기 위해.
• 베르누이 및 잘린된 지수 분포 모델을 포함한 다양한 데이터 분포에서 알고리즘의 강인성과 정확성을 실증적으로 검증하기 위해.

제안 방법

• ReportNoisyMin 메커니즘과 사전에 설정된 임계값 전략을 활용하여 비프라이버시 온라인 FDR 절차(예: SAFFRON)를 확장함으로써 차별적 프라이버시를 도입한다.
• 누적된 프라이버시 손실과 관측된 p-값에 기반해 거부 임계값을 동적으로 조정하는 프라이버시 기반 웰스 메커니즘을 도입한다.
• 프라이버시 기반 임계값 설정 과정을 校정하기 위해 이동 파rameter A를 도입하며, 이는 FDR 제어와 통계적 검정력 사이의 균형을 조절한다.
• 소음이 첨가된 p-값을 처리하기 위해 일련의 프라이버시 비교를 수행함으로써, 비프라이버시 벤자민-호크베르그 절차의 프라이버시 버전을 사용한다.
• 이론적 분석을 통해 기대 FDR가 α + δt 이하로 제한됨을 보이며, 이는 FDR이 목표 수준 내에서 유지됨을 보장한다.
• 후처리 불변성과 고급 조합 정리 등을 적용하여 순차적 쿼리 간의 프라이버시를 유지한다.

실험 결과

연구 질문

• RQ1 개별 데이터 포인트에 대한 프라이버시를 보장하면서도 강력한 통계 성능을 유지하는 차별적 프라이버시 온라인 FDR 제어 알고리즘을 설계할 수 있는가?
• RQ2 비프라이버시 및 단순화된 프라이버시화 기준 대비, FDR 및 통계적 검정력 측면에서 프라이버시 보장 온라인 FDR 제어의 성능은 어떻게 비교되는가?
• RQ3 이동 파rameter A가 프라이버시 온라인 환경에서 FDR 제어와 통계적 검정력 간의 트레이드오프에 미치는 영향은 무엇인가?
• RQ4 베르누이 및 잘린된 지수 분포와 같은 실제 데이터 분포에 대해 프라이버시 보장 온라인 FDR 제어를 효과적으로 적용할 수 있는가?
• RQ5 단순화된 프라이버시화(예: p-값에 라플라스 노이즈 적용)와 비교했을 때, 프라이버시 기반 임계값 설정과 웰스 관리 메커니즘의 FDR 및 검정력 성능은 어떻게 비교되는가?

주요 결과

• PAPRIKA는 목표 수준 α 내에서 FDR 제어를 달성하며, 실증적 FDR는 α + δt 이하로 제한되어 강력한 이론적 프라이버시 보장을 입증한다.
• 베르누이 및 잘린된 지수 분포 데이터에서의 실험 결과, PAPRIKA는 강한 신호 조건에서 최대 80%의 높은 통계적 검정력을 유지하면서도 ε=5일 때 FDR을 5% 이하로 유지한다.
• LapSAFFRON—SAFFRON을 라플라스 노이즈를 사용해 단순화한 버전—에 비해 FDR 제어 및 검정력 측면에서 뚜렷한 성능 향상을 보이며, 특히 약한 신호 조건(θi=1.90)에서 두드러진다.
• 이동 파rameter s(파라미터 A와 관련)의 선택은 FDR-검정력 트레이드오프에 결정적인 영향을 미치며, 더 큰 s 값은 거부 수를 감소시켜 FDR 제어는 향상시키지만 검정력을 감소시킨다.
• PAPRIKA의 웰스 및 거부 임계값 궤적은 비프라이버시 SAFFRON과 매우 유사하여, 프라이버시 기반 결정이 최적의 비프라이버시 결정과 일치함을 확인한다.
• 적응형 λj=αj를 사용하는 PAPRIKA AI는 고정된 λj=0.2를 사용하는 PAPRIKA보다 높은 신호 조건(θi=2.00)에서 더 뛰어난 성능을 보인다.