[논문 리뷰] The p-filter: multi-layer FDR control for grouped hypotheses

Rina Foygel Barber, Aaditya Ramdas|arXiv (Cornell University)|2015. 12. 10.

Statistical Methods in Clinical Trials참고 문헌 9인용 수 8

한 줄 요약

p-filter는 다중 가설 검정에서 공간적, 시간적, 기능적 그룹화와 같은 임의의 비계층적 분할에 대해 동시에 가짜 발현률(FDR)을 통제하는 새로운 절차이다. p-value를 다층 임계값을 통해 걸러내는 방식으로, Benjamini-Hochberg(BH) 절차와 Simes 검정을 일반화하여 신호가 자연스럽게 그룹화되어 있을 경우 정밀도를 향상시키면서도 검정력(power)을 유지한다.

ABSTRACT

In many practical applications of multiple hypothesis testing using the False Discovery Rate (FDR), the given hypotheses can be naturally partitioned into groups, and one may not only want to control the number of false discoveries (wrongly rejected null hypotheses), but also the number of falsely discovered groups of hypotheses (we say a group is falsely discovered if at least one hypothesis within that group is rejected, when in reality the group contains only nulls). In this paper, we introduce the p-filter, a procedure which unifies and generalizes the standard FDR procedure by Benjamini and Hochberg and global null testing procedure by Simes. We first prove that our proposed method can simultaneously control the overall FDR at the finest level (individual hypotheses treated separately) and the group FDR at coarser levels (when such groups are user-specified). We then generalize the p-filter procedure even further to handle multiple partitions of hypotheses, since that might be natural in many applications. For example, in neuroscience experiments, we may have a hypothesis for every (discretized) location in the brain, and at every (discretized) timepoint: does the stimulus correlate with activity in location x at time t after the stimulus was presented? In this setting, one might want to group hypotheses by location and by time. Importantly, our procedure can handle multiple partitions which are nonhierarchical (i.e. one partition may arrange p-values by voxel, and another partition arranges them by time point; neither one is nested inside the other). We prove that our procedure controls FDR simultaneously across these multiple lay- ers, under assumptions that are standard in the literature: we do not need the hypotheses to be independent, but require a nonnegative dependence condition known as PRDS.

연구 동기 및 목표

• 기존의 BH 절차와 같이 가설의 구조적 그룹화를 忽시하는 한계를 해결하기 위해.
• 공간적, 시간적, 기능적 영역과 같은 다양한 수준의 그룹화에서 동시에 FDR를 통제할 수 있는 방법을 개발하기 위해.
• 계층적 분할이 필요 없이 영역별 사전 지식(예: 뇌 영역 또는 유전자 가족)을 다중 검정에 통합하면서도 통계적 보장을 유지하기 위해.
• 그룹화된 구조를 활용하여 진짜 신호를 더 정밀하게 탐지함으로써 가짜 발견 수를 줄이고 검정력을 유지하기 위해.

제안 방법

• p-filter는 n개의 p-value와 M ≥ 1개의 임의의 분할(각 분할은 p-value들을 그룹으로 나누는 것)을 입력으로 받는다.
• 각 분할에 대해, 해당 그룹 내 p-value를 바탕으로 각 레이어 m에 맞는 임계값을 계산하며, 사용자가 지정한 수준 α_m에서 FDR를 통제하는 일반화된 단계적 상향 절차를 사용한다.
• 가설은 모든 레이어에서 FDR 통제 임계값을 통과할 경우에만 기각(발견으로 간주)되며, 이는 동시에 다중 레이어 FDR 통제를 보장한다.
• 알고리즘은 가장 관대한 레이어에서 시작하여 점차 모든 레이어에 걸쳐 더 엄격한 조건을 적용하는 재귀적 필터링 메커니즘을 사용한다.
• fMRI 및 유전체 분석 데이터에서 흔히 만족되는 PRDS(하나의 부분집합에 대한 양의 회귀의존성) 조건 하에서 증명 가능한 유효성을 지닌다.
• M=1이고 가장 세밀한 분할을 사용할 경우 BH 절차로 일반화되며, M=1이고 굵은 분할을 사용할 경우 Simes 검정으로 일반화된다. 이로써 두 전통적인 절차를 통합한다.

실험 결과

연구 질문

• RQ1 fMRI 데이터에서 공간적, 시간적 그룹화와 같은 비계층적 다중 분할에 대해 FDR를 동시에 통제할 수 있는가?
• RQ2 뇌 영역 또는 유전자 가족과 같은 도메인 특화 그룹화를 통합할 경우, 기존의 FDR 절차보다 더 정밀한 진짜 신호 탐지가 가능한가?
• RQ3 다양한 차원에서 자연스럽게 그룹화된 신호가 있을 경우, p-filter는 BH 절차에 비해 검정력과 정밀도에서 어떻게 비교되는가?
• RQ4 실제 신경과학 및 유전체 분석 응용에서 p-filter는 가짜 발견을 효과적으로 줄이고 높은 통계적 검정력을 유지할 수 있는가?
• RQ5 복잡한 다모드 그룹화를 포함한 대규모 다중 검정 문제에 대해 p-filter는 안정성과 확장성이 있는가?

주요 결과

• p-filter는 PRDS 조건 하에서 비계층적 M개의 분할에 대해 모든 레이어에서 증명 가능한 동시에 FDR 통제를 달성한다.
• 시뮬레이션 결과, p-filter는 BH와 거의 동일한 검정력을 유지하면서도 행과 열에 걸쳐 신호가 그룹화된 경우에 유의미하게 낮은 가짜 발견률을 기록했다.
• 41,073 × 3개의 p-value를 포함한 fMRI 응용에서, α1=0.05, α2=0.05, α3=0.1을 사용하여 개인, 시간적, 공간적 그룹 수준에서 FDR를 성공적으로 통제했다.
• 표준 BH에 비해 가짜 발견 수를 줄여 정밀도를 향상시켰으며, 검정력 손실는 거의 없었다.
• 시뮬레이션과 실제 fMRI 데이터를 통해, 자연스럽게 그룹화된 신호가 있을 경우 p-filter는 BH보다 정밀도에서 뛰어난 성능을 보였다.
• 어떤 수의 임의의 분할에도 적용 가능하여, 다양한 과학 분야에서 다모드, 시공간적, 기능적 그룹화에 적합한 유연성과 일반화 능력을 지닌다.