[논문 리뷰] Private False Discovery Rate Control

Cynthia Dwork, Weijie Su외 1명|arXiv (Cornell University)|2015. 11. 12.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 21

한 줄 요약

이 논문은 다중 가설 검정에서 거짓 발견률(FDR)을 제어하기 위한 최초의 비차별적(private) 알고리즘을 제안하며, 비차별적 단계를 통합한 벤자민-하우버그(Benjamini-Hochberg) 절차를 적응시킨다. 약한 조건 하에서 비차별적 BHq 절차에 대한 새로운 증명과 낮은 왜곡을 가진 '한 번에' 처리하는(top-$k$) 프리미티브를 도입하여, 비차별적 환경에서 최소한의 검정력 손실로 FDR 제어를 달성한다.

ABSTRACT

We provide the first differentially private algorithms for controlling the false discovery rate (FDR) in multiple hypothesis testing, with essentially no loss in power under certain conditions. Our general approach is to adapt a well-known variant of the Benjamini-Hochberg procedure (BHq), making each step differentially private. This destroys the classical proof of FDR control. To prove FDR control of our method, (a) we develop a new proof of the original (non-private) BHq algorithm and its robust variants -- a proof requiring only the assumption that the true null test statistics are independent, allowing for arbitrary correlations between the true nulls and false nulls. This assumption is fairly weak compared to those previously shown in the vast literature on this topic, and explains in part the empirical robustness of BHq. Then (b) we relate the FDR control properties of the differentially private version to the control properties of the non-private version. \end{enumerate} We also present a low-distortion "one-shot" differentially private primitive for "top $k$" problems, e.g., "Which are the $k$ most popular hobbies?" (which we apply to: "Which hypotheses have the $k$ most significant $p$-values?"), and use it to get a faster privacy-preserving instantiation of our general approach at little cost in accuracy. The proof of privacy for the one-shot top~$k$ algorithm introduces a new technique of independent interest.

연구 동기 및 목표

• 다중 가설 검정에서 거짓 발견률(FDR) 제어를 위한 최초의 비차별적 알고리즘을 개발한다.
• 비차별적 환경에서 FDR 제어를 유지하면서 통계적 검정력을 보존하여, 비밀성 보장의 정확도 손실를 최소화한다.
• 진정한 근본가설(test statistics) 간의 독립성만을 가정하는 약한 조건 하에서 비차별적 벤자민-하우버그 절차의 새로운 이론적 기반을 구축한다.
• 효율적이고 정확한 가장 유의미한 $p$-값들을 선택하기 위한 저왜곡, 한 번에 처리하는 비차별적 top-$k$ 알고리즘을 설계한다.
• 비차별적 알고리즘의 FDR 제어 성질을 비차별적 버전과 연결하여 이론적 엄밀성을 확보한다.

제안 방법

• 각 단계를 비차별적으로 만들기 위해 벤자민-하우버그 단계 하향 절차를 수정하여, 기존의 임계값 기반 검정을 비차별적 통계적 검정으로 대체한다.
• 진정한 근본가설의 검정 통계량 간의 독립성만을 가정하는 비차별적 BHq 절차에 대한 새로운 증명을 개발하여, 진정한 근본가설과 거짓 근본가설 간의 임의의 상관관계를 허용한다.
• 비차별적 top-$k$ 선택 프리미티브를 새롭게 도입하여, $k$개의 가장 유의미한 $p$-값들을 $O(\tfrac{\rho}{\rho^2})$의 왜곡으로 선택한다. 이는 반복적 벗기기(iterative peeling) 방법보다 향상된 성능을 보인다.
• 벤넷의 부등식(Bennett’s inequality)을 사용하여 한 번에 처리하는 top-$k$ 알고리즘의 비밀성 증명을 하며, 확률 벡터의 $c$-근접성 조건 하에서 로그우도비의 농도 경계를 확립한다.
• 새로운 증명 구조에 기반한 커플링 추론을 통해 비차별적 알고리즘의 FDR 제어 성질을 비차별적 버전과 연결한다.
• p-값 계산이 소음 메커니즘의 기술적 조건을 만족하도록 하여, FDR 제어 파이프라인 전반에 걸친 비차별적 보장을 확보한다.

실험 결과

연구 질문

• RQ1 다중 가설 검정에서 거짓 발견률(FDR)을 제어하는 비차별적 알고리즘을 설계할 수 있는가? 이때 통계적 검정력 손실를 최소화할 수 있는가?
• RQ2 비차별적 BHq 절차에서 FDR 제어를 보장하기 위해 필요한 테스트 통계량에 대한 약한 가정은 무엇이며, 이러한 가정은 비차별적 환경에서 어떻게 활용될 수 있는가?
• RQ3 반복적 벗기기를 피하면서 $k$에 대해 비선형적 의존성과 낮은 왜곡을 가지는 비차별적 top-$k$ 선택 프리미티브를 구축할 수 있는가?
• RQ4 비차별적 알고리즘의 FDR 제어 성질을 비차별적 대응 버전과 공식적으로 연결할 수 있는가?
• RQ5 FDR 제어 파이프라인에서 종단 간 비차별적 보장을 확보하기 위해 p-값 계산에 필요한 기술적 조건는 무엇인가?

주요 결과

• 논문은 진정한 근본가설의 검정 통계량 간의 독립성만을 가정하는 약한 조건 하에서 비차별적 BHq 절차에 대한 새로운 증명을 확립하였으며, 이는 BHq의 경험적 강건성을 설명한다.
• 제안된 비차별적 FDR 제어 방법은 동일한 약한 조건 하에서 거의 검정력 손실 없이 FDR 제어를 달성하여, 개인정보 보호가 중요한 환경에서의 실용적 적용 가능성을 보여준다.
• 한 번에 처리하는 top-$k$ 프리미티브는 $k$에 대해 $O(\tfrac{\rho}{\rho^2})$의 왜곡을 달성하며, 반복적 벗기기 방법의 최고 성능과 동일한 수준이지만 훨씬 높은 효율성과 낮은 계산 비용을 보인다.
• 한 번에 처리하는 top-$k$ 알고리즘의 비밀성 증명은 로그우도비의 농도 기반 기법을 도입하여, 벤넷의 부등식을 사용한 새로운 기법을 제안하며, 이는 비밀성 연구 분야에서 별도의 관심을 끌 만하다.
• p-값 계산에 대한 기술적 조건을 만족시킴으로써 FDR 제어 파이프라인 전반에 걸쳐 종단 간 비차별적 보장을 확보하여, 비차별적 가설 검정 파이프라인을 가능하게 한다.
• 이론적 분석을 통해 비차별적 알고리즘의 FDR 제어 성질이 비차별적 버전과 밀접하게 연관되어 있음을 확인하여, 신뢰성과 해석 가능성 보장을 확보한다.