[논문 리뷰] Adaptive Controls of FWER and FDR Under Block Dependence

Wenge Guo, Sanat K. Sarkar|arXiv (Cornell University)|2016. 11. 10.

Statistical Methods in Clinical Trials참고 문헌 22인용 수 10

한 줄 요약

이 논문은 다중 검정에서 블록 간의 독립성과 블록 내의 의존성(블록 간의 비중복 블록 내에서 p-값이 의존적일 수 있음)을 갖는 블록 의존성 하에서 FDR(거짓 발견률) 및 FWER(가족별 오류율)를 제어하기 위한 적응형 절차를 제안한다. 블록 구조를 통합하고 각 블록 내 진짜 귀무가설의 수를 추정함으로써, 기존의 적응형 접근 방식보다 더 높은 검정력을 확보하면서도, 블록 내에서 양의 의존성 또는 임의의 의존성 하에서도 FDR 및 FWER의 비점근적 제어를 유지한다.

ABSTRACT

Often in multiple testing, the hypotheses appear in non-overlapping blocks with the associated $p$-values exhibiting dependence within but not between blocks. We consider adapting the Benjamini-Hochberg method for controlling the false discovery rate (FDR) and the Bonferroni method for controlling the familywise error rate (FWER) to such dependence structure without losing their ultimate controls over the FDR and FWER, respectively, in a non-asymptotic setting. We present variants of conventional adaptive Benjamini-Hochberg and Bonferroni methods with proofs of their respective controls over the FDR and FWER. Numerical evidence is presented to show that these new adaptive methods can capture the present dependence structure more effectively than the corresponding conventional adaptive methods. This paper offers a solution to the open problem of constructing adaptive FDR and FWER controlling methods under dependence in a non-asymptotic setting and providing real improvements over the corresponding non-adaptive ones.

연구 동기 및 목표

• 비점근적 설정에서 블록 의존성 하에 적응형 FDR 및 FWER 제어 절차를 구성하는 열린 문제를 해결한다.
• p-값의 블록 의존성 구조를 활용하여 기존의 적응형 방법보다 검정력을 향상시킨다.
• 양의 블록 의존성 하에서 FDR를 정확히 제어하고, 임의의 블록 내 의존성 하에서 FWER를 제어하는 방법을 개발한다.
• 진짜 귀무가설의 수에 대한 데이터 적응형 추정을 통해 FDR 및 FWER 제어에 대한 이론적 보장을 제공한다.
• 블록 구조를 통합함으로써 비적응형 또는 블록 인식이 없는 방법과 비교해 실제 발견력 향상이 이루어짐을 보여준다.

제안 방법

• 블록 의존성과 각 블록 내 진짜 귀무가설 수의 추정을 고려해 벤자민-호크베르그 절차를 수정함으로써 FDR 제어를 위한 적응형 절차를 개선한다.
• FDR 제어를 위한 보너페르니 절차를 적응형으로 수정하여, 진짜 귀무가설 수의 데이터 기반 추정치를 사용함으로써 임의의 블록 내 의존성 하에서도 비점근적 FWER 제어를 보장한다.
• 순서화된 p-값과 적응형 임계값 기반의 단계적 상향 절차(Stepup)를 FDR 제어에, 단일 단계 절차를 FWER 제어에 사용한다.
• 블록 구조를 고려하고 조건 (5)를 만족시키는 진짜 귀무가설 수의 보수적 추정치 $\widehat{n}_0(\mathbf{P})$ 를 통합한다.
• 양의 의존성 하에서 FDR 제어, 임의의 의존성 하에서 FWER 제어를 유지함을 증명한다.
• 주요화 및 확률적 순서의 논리적 접근을 통해 추정치의 타당성과 오류율 제어의 타당성을 확립하며, 특히 $\lambda$-의존적 경계와 함수 $f(a_i) = (2a_i + 3)^{-2/(a_i+2)}$ 의 활용을 통해 이를 뒷받침한다.

실험 결과

연구 질문

• RQ1 비점근적 설정에서 블록 의존성 하에 FDR 및 FWER 제어 절차를 구성할 수 있는가?
• RQ2 어떻게 블록 의존성 구조를 적응형 다중 검정 절차에 효과적으로 통합하여 통계적 검정력을 향상시킬 수 있는가?
• RQ3 임의의 블록 내 의존성 하에서 FWER 제어를 보장하기 위해 진짜 귀무가설 수의 추정치에 어떤 조건이 필요하는가?
• RQ4 블록 의존성 하에서 제안된 적응형 방법이 기존의 적응형 방법보다 발견률 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 양의 블록 의존성 가정을 활용하여 FDR 제어를 강화하면서도 유형 I 오류율 보장을 유지할 수 있는가?

주요 결과

• 제안된 적응형 FDR 절차는 양의 블록 의존성 하에서 FDR를 제어하며, 확률적 지배성과 순서통계량의 이론적 근거에 기반한 보장이 있다.
• 적응형 FWER 절차는 임의의 블록 내 의존성 하에서도 수준 $\alpha$ 에서 정확한 FWER 제어를 유지한다. 이는 진짜 귀무가설 수를 데이터로부터 추정하더라도 성립한다.
• 추정치 $\widehat{n}_0(\mathbf{P})$ 는 조건 (5)를 만족하며, $\lambda \geq (2b+3)^{-2/(b+2)}$ 를 포함하는 보수적 경계를 통해 FWER 가 $\alpha$ 이하로 제한됨을 보장한다.
• 수치적 증거는 블록 의존성이 강할수록 기존의 적응형 방법보다 새로운 적응형 방법이 더 높은 발견률을 달성함을 보여준다.
• 향상 정도는 정량적으로 뚜렷하다: 블록 내 의존성 구조를 활용함으로써 검정력이 증가하며, 유효성을 보장하는 경계 $\left[1 + \frac{1}{4(a_i+1)(a_i+2)}\right](1 - \lambda^{a_i+2}) \leq 1$ 가 이를 뒷받침한다.
• 이론적 결과는 비점근적이며 최소한의 가정 하에서도 성립하므로, 유전체학 및 신경영상 분야에서 흔한 유한 표본 설정에 적용 가능하다.