[논문 리뷰] Semi-supervised multiple testing

David Mary, Étienne Roquain|arXiv (Cornell University)|2021. 06. 25.

Statistical Methods in Clinical Trials참고 문헌 58인용 수 1

한 줄 요약

이 논문은 근본 분포의 지식이 없이도 가짜 발각률(FDR)을 제어할 수 있는 준감독 다중 검정 프레임워크를 제안한다. 이는 근본 훈련 표본(NTS)을 기반으로 한 경험적 p-값 접근법을 사용한다. 벤자민리오프-하우스버그(BH) 절차에 대한 이론적 경계를 수립하여, NTS 크기 n ≳ m / (α max(1, k))일 때 FDR 제어가 가능하다는 것을 보여주며, 여기서 m는 검정 수이고 k는 검출 가능한 대안의 수이다.

ABSTRACT

An important limitation of standard multiple testing procedures is that the null distribution should be known. Here, we consider a null distribution-free approach for multiple testing in the following semi-supervised setting: the user does not know the null distribution, but has at hand a sample drawn from this null distribution. In practical situations, this null training sample (NTS) can come from previous experiments, from a part of the data under test, from specific simulations, or from a sampling process. In this work, we present theoretical results that handle such a framework, with a focus on the false discovery rate (FDR) control and the Benjamini-Hochberg (BH) procedure. First, we provide upper and lower bounds for the FDR of the BH procedure based on empirical $p$-values. These bounds match when $\alpha (n+1)/m$ is an integer, where $n$ is the NTS sample size and $m$ is the number of tests. Second, we give a power analysis for that procedure suggesting that the price to pay for ignoring the null distribution is low when $n$ is sufficiently large in front of $m$; namely $n\gtrsim m/(\max(1,k))$, where $k$ denotes the number of ``detectable'' alternatives. Third, to complete the picture, we also present a negative result that evidences an intrinsic transition phase to the general semi-supervised multiple testing problem {and shows that the empirical BH method is optimal in the sense that its performance boundary follows this transition phase}. Our theoretical properties are supported by numerical experiments, which also show that the delineated boundary is of correct order without further tuning any constant. Finally, we demonstrate that our work provides a theoretical ground for standard practice in astronomical data analysis, and in particular for the procedure proposed in \cite{Origin2020} for galaxy detection.

연구 동기 및 목표

• 표준 다중 검정 절차가 근본 분포를 사전에 알 필요가 있다는 한계를 해결한다.
• 근본 분포가 알려져 있지 않지만 근본 분포에서 추출한 표본(NTS)이 가용한 준감독 환경에서 근본 분포에 의존하지 않는 FDR 제어 방법을 개발한다.
• NTS에서 유도된 경험적 p-값을 사용할 때 BH 절차의 성능을 이론적으로 분석한다.
• 경험적 BH 절차가 알려지지 않은 근본 분포로 인한 손실을 최소화하면서 거의 오라클 수준의 검정력을 달성할 수 있는 조건을 설정한다.
• 단계 전이 분석을 통해 제안된 방법의 최적성과 내재된 한계를 입증한다.

제안 방법

• 알 수 없는 근본 분포에서 유도된 크기 n의 근본 훈련 표본(NTS)을 사용하여 각 검정에 대해 경험적 p-값을 계산한다.
• 경험적 p-값에 대해 벤자민리오프-하우스버그(BH) 절차를 적용하여 가짜 발각률(FDR)을 제어한다.
• 경험적 BH 절차의 FDR에 상한 및 하한 경계를 유도하며, 이 경계들이 α(n+1)/m 가 정수일 때 일치함을 보인다.
• NTS 크기 n과 검출 가능한 대안 수 k 사이의 상호 작용을 정량화하기 위해 검정력 분석을 수행한다.
• n ≍ m에서 단계 전이를 관찰하여, 근본 분포가 알려져 있지 않을 경우 오라클 수준의 검정력을 갖춘 FDR 제어가 불가능함을 보여준다.
• 수치 실험을 통해 이론적 결과를 검증하고, 조정 상수가 필요 없이 유도된 척도의 정확성을 확인한다.

실험 결과

연구 질문

• RQ1 근본 분포가 알려져 있지 않지만 그로부터 표본이 가용할 경우 다중 검정에서 FDR를 제어할 수 있는가?
• RQ2 근본 훈련 표본(NTS)의 크기 n이 경험적 BH 절차의 성능에 FDR 및 검정력 측면에서 어떤 영향을 미치는가?
• RQ3 경험적 BH 절차가 FDR 제어 및 검정력 측면에서 최적화되는 이론적 경계는 무엇인가?
• RQ4 준감독 다중 검정 문제에서 NTS가 너무 작을 경우 성능을 제한하는 내재된 단계 전이가 존재하는가?
• RQ5 제안된 방법은 천문학 분야의 응용, 예를 들어 은하 탐지와 같은 실용적 절차에 대해 이론적 근거를 제공할 수 있는가?

주요 결과

• 경험적 BH 절차의 FDR는 상한 및 하한 경계로 둘러싸이며, 이 경계들이 α(n+1)/m 가 정수일 때 일치한다.
• 검출 가능한 대안 수 k가 주어질 때, 경험적 BH 절차의 검정력은 n ≳ m / (α max(1, k))일 때 오라클 BH 절차에 가까워진다.
• n ≍ m에서 내재된 단계 전이가 발생하며, 이에 따라 근본 분포가 알려져 있지 않을 경우 오라클 수준의 검정력을 갖춘 FDR 제어는 불가능해진다.
• 경험적 BH 절차는 성능 경계가 단계 전이 임계값과 일치하므로 최적임을 입증한다.
• 수치 실험을 통해 유도된 척도 n ≳ m / (α max(1, k))가 조정 상수가 필요 없이 올바른 순서임을 확인한다.
• 이론적 프레임워크는 Mary 등(2020)에서 제안한 은하 탐지 절차에 강력한 이론적 근거를 제공하며, 천문학적 데이터 분석에서의 적용을 정당화한다.