[논문 리뷰] A comprehensive error rate for multiple testing

Djalel Eddine Meskaldji, Dimitri Van De Ville외 2명|arXiv (Cornell University)|2011. 12. 19.

Statistical Methods in Clinical Trials참고 문헌 17인용 수 9

한 줄 요약

이 논문은 순서화된 p-값에 임의의 비감소형 임계값 시퀀스를 적용하여 다중 가설 검정을 위한 종합적인 오차율 프레임워크를 제안한다. 일반적 의존성 구조 하에서 기대된 거짓 발견 비율을 제어할 수 있음을 입증하며, 재형상 함수를 통해 이를 실현하고, 고전적 절차인 Benjamini-Hochberg를 일반화하며 다양한 의존성 가정 하에서 더 엄격한 제어를 가능하게 한다.

ABSTRACT

The higher criticism of a family of tests starts with the individual uncorrected p-values of each test. It then requires a procedure for deciding whether the collection of p-values indicates the presence of a real effect and if possible selects the ones that deserve closer scrutiny. This paper investigates procedures in which the ordered p-values are compared to an arbitrary positive and non-decreasing threshold sequence.

연구 동기 및 목표

• 동시에 많은 가설을 검정할 때 고전적 다중 검정 절차가 오차율을 제어하는 데 한계를 보이는 문제를 해결하기 위해.
• 독립성 가정을 초월하여 기존 오차율 제어 방식(예: FDR, FWER)을 일반화하는 유연한 프레임워크를 개발하기 위해.
• 임계값 시퀀스와 재형상 함수를 사용하여 단일 이론적 구조 아래에서 다양한 스텝업 및 스텝다운 절차를 통합하기 위해.
• 양의 의존성 및 임의의 의존성 포함 일반 의존성 구조에서도 보수적인 오차율 제어를 가능하게 하기 위해.
• 기존 표준 임계값 시퀀스의 변환을 통해 새로운 오차 지표 유도 및 제어를 가능하게 하기 위해.

제안 방법

• 비감소형 형태 시퀀스 $ s_r $ 와 재형상 함수 $ \xi $ 를 사용하여 일반 임계값 시퀀스 $ t_r = \xi(s_r)\alpha/m $ 를 제안한다.
• 벌금 주어진 거짓 초과율(penalized False Exceedance Rate, pFER)을 $ \mathbb{P}(\text{FP}/s_R > q) $ 로 정의하며, 이는 FDR을 일반화하고 중앙값 기반 오차 제어를 가능하게 한다.
• 마르코프 부등식을 적용하여 독립성 및 양의 의존성 하에서 pFER의 보수적 제어를 도출한다.
• 역 재형상 함수 $ \xi^{-1}(r) $ 를 사용하여 기대 거짓 발견 비율을 $ \mathbb{E}[\text{FP}/\xi^{-1}(R)] \leq \alpha $ 로 표현한다.
• Benjamini-Hochberg 절차가 $ \mathbb{E}[\text{FP}/(R \sum_{i=1}^m 1/i)] \leq \alpha $ 를 제어함을 입증하며, 일반적 의존성 하에서 $ \mathbb{E}[\text{FDP}] \leq \alpha \log m $ 를 이끌어낸다.
• 대표적 표본 조건 하에서 오차율이 FDR로 수렴함을 보여, 최적의 기각 곡선(ORC)의 점근적 제어를 확립한다.

실험 결과

연구 질문

• RQ1 임의의 임계값 시퀀스를 사용하여 기존 다중 검정 절차를 단일 이론적 프레임워크 아래 통합할 수 있는가?
• RQ2 p-값에 대한 다양한 의존성 가정 하에서 주어진 임계값 시퀀스가 어떤 오차율을 제어하는가?
• RQ3 재형상 함수 접근법을 통해 일반 의존성 구조 하에서 거짓 발견 비율을 보수적으로 제어할 수 있는가?
• RQ4 임계값 시퀀스의 형태와 결과 오차율 제어 간의 관계는 무엇인가?
• RQ5 제안된 프레임워크가 다양한 가정 하에서 Benjamini-Hochberg 및 Hochberg 절차를 어떻게 일반화하는가?

주요 결과

• Benjamini-Hochberg 절차는 어떤 의존성 구조 하에서도 $ \mathbb{E}[\text{FP}/(R \sum_{i=1}^m 1/i)] \leq \alpha $ 를 제어하며, 이는 일반적 의존성 하에서 $ \mathbb{E}[\text{FDP}] \leq \alpha \log m $ 를 의미한다.
• q = 0.5 일 때, 벌금 주어진 거짓 초과율(pFER)은 FDP의 중앙값과 일치하며, BH 절차에서 $ \alpha/2 $ 를 사용하면 중앙값 수준에서 $ \alpha $ 의 제어가 보장된다.
• Hochberg의 스텝업 절차는 독립성 및 양의 의존성 하에서 $ \mathbb{E}[\text{FP} \cdot (m-R+1)/m] \approx \mathbb{E}[\text{FP}] $ 를 제어한다.
• 최적의 기각 곡선(ORC) 임계값 시퀀스 $ t_r = r\alpha / (m - r(1 - \alpha)) $ 는 $ m \to \infty $ 일 때 FDR을 점근적으로 제어하며, 독립성 및 양의 의존성 하에서 오차율 수렴이 입증된다.
• 일반적 의존성 하에서, $ t_r = \xi(s_r)\alpha/m $ 과 함께 재형상 함수 $ \xi $ 를 사용할 경우 오차율 $ \mathbb{E}[\text{FP}/\xi(q s_R)] \leq \alpha $ 가 제어된다.
• 이 프레임워크는 임계값 시퀀스와 재형상 함수의 선택이 직접적으로 제어되는 오차율을 결정하며, 새로운 오차 지표 유도 및 제어의 체계적 접근이 가능함을 드러낸다.