[논문 리뷰] Combining p-values via averaging

Vladimir Vovk, Ruodu Wang|arXiv (Cornell University)|2012. 12. 20.

Statistical Methods in Clinical Trials참고 문헌 35인용 수 23

한 줄 요약

이 논문은 일반화된 평균(산술, 기하, 조화 평균 포함)을 사용하여 p-value를 평균화하는 일반화된 프레임워크를 제안한다. 고전적 방법들인 피어슨의 방법과 본페로니 방법을 확장하며, 데이터 기반 스케일링 요소를 적용한다. 주요 기여는 조화 평균의 p-value가 $\ln K$로 스케일링될 경우, 임의의 종속성 하에서도 타당하고 보수적인 p-value를 도출할 수 있음을 보여주는 것으로, 종속성 하에서도 더 높은 검정력(power)을 가지는 다중 검정 절차를 향상시킨다.

ABSTRACT

This paper proposes general methods for the problem of multiple testing of a single hypothesis, with a standard goal of combining a number of p-values without making any assumptions about their dependence structure. An old result by Rüschendorf and, independently, Meng implies that the p-values can be combined by scaling up their arithmetic mean by a factor of 2 (and no smaller factor is sufficient in general). A similar result about the geometric mean (Mattner) replaces 2 by $e$. Based on more recent developments in mathematical finance, specifically, robust risk aggregation techniques, we extend these results to generalized means; in particular, we show that $K$ p-values can be combined by scaling up their harmonic mean by a factor of $\ln K$ (asymptotically as $K o\infty$). This leads to a generalized version of the Bonferroni-Holm procedure. We also explore methods using weighted averages of p-values. Finally, we discuss the efficiency of various methods of combining p-values and how to choose a suitable method in light of data and prior information.

연구 동기 및 목표

• 독립성 가정 없이 다수의 p-value를 하나의 타당한 p-value로 조합할 수 있는 일반적이고 가정 없는 방법을 개발하는 것.
• 일반화된 평균과 강건한 위험 집계 기법을 사용하여 p-value 평균화에 관한 고전적 결과들(예: Rüschendorf, Mattner)을 확장하는 것.
• 일반화된 평균 기반의 스케일러블한 융합 함수를 도입하여 다중 검정 절차의 검정력과 효율성을 향상시키는 것.
• 데이터 특성과 사전 정보를 바탕으로 최적의 융합 방법을 선택하는 원칙적인 접근법을 제공하는 것.
• 일반화된 평균 기반 융합 함수를 사용하여 본페로니–홀름 절차를 일반화하여 종속성 하에서도 성능을 향상시키는 것.

제안 방법

• 일반화된 평균 $M_{r,K}(p_1,\dots,p_K) = \left(\frac{1}{K}\sum_{i=1}^K p_i^r\right)^{1/r}$ 를 사용하며, $r \in [-\infty, \infty]$ 에 대해 정의되며, 산술 평균($r=1$), 기하 평균($r \to 0$), 조화 평균($r=-1$) 포함.
• 임의의 종속성 하에서도 유효한 융합 함수(즉, 보수적인 p-value를 도출)가 되도록 하는 스케일링 요소 $a_{r,K}$ 를 유도.
• 강건한 위험 집계 이론을 적용하여 정밀한 스케일링 요소를 도출하며, $K \to \infty$ 일 때 조화 평균의 경우 $a_{r,K} \to \ln K$ 임을 보여줌.
• 이차 정보나 사전 지식을 활용한 가중 평균화를 제안하여 이질적인 검정 시나리오에서의 효율성을 향상.
• 보통의 본페로니와 기하 평균을 융합한 복합 방법(BG 방법)을 도입하며, 시뮬레이션에서 개별 방법보다 뛰어난 성능을 보임.
• 상관된 정규 분포 검정 통계량 하에서 시뮬레이션 연구를 수행하여 종속성 수준($\rho = 0.1, 0.5, 0.9$)과 표본 크기($K=50, 400$)에 따른 성능 평가.

실험 결과

연구 질문

• RQ1 임의의 종속성 구조 하에서 $K$개의 p-value에 대해 $a_{r,K} \cdot M_{r,K}$ 가 타당한 p-value가 되기 위한 최소 스케일링 요소 $a_{r,K}$ 는 무엇인가?
• RQ2 종속성 하에서 일반화된 평균 기반 p-value 조합의 성능이 고전적 방법들(예: 본페로니, 피어슨)과 비교해 어떻게 되는가?
• RQ3 다양한 방법들(예: 본페로니와 기하 평균)을 융합한 복합 융합 함수가 개별 방법보다 더 높은 검정력을 가지는가?
• RQ4 다양한 종속성 구조 하에서 통계적 검정력을 최대화하기 위해 최적의 일반화된 평균 파라미터 $r$ 은 무엇인가?
• RQ5 사전 정보나 검정의 질을 가중 평균을 통해 p-value 조합에 통합할 수 있는가?

주요 결과

• K개의 p-value의 조화 평균은 $\ln K$로 스케일링될 경우(특히 $K \to \infty$ 일 때 점근적으로), 임의의 종속성 하에서도 타당하고 보수적인 p-value를 도출할 수 있으며, 본페로니 방법보다 향상됨.
• 기하 평균의 경우 일반적으로 $e$ 만으로도 충분하고 필수적임을 확인하며, Mattner의 결과를 확인함.
• 산술 평균의 경우 타당한 p-value를 도출하기 위해 2로 스케일링이 필요함을 이전에 Rüschendorf와 Meng가 확립한 결과와 일치.
• 복합 본페로니-기하 평균 방법($F_{K}^{\mathrm{BG}}$)은 항상 기초 방법들보다 뛰어나며, 어떤 $r$ 에 대해서도 일반화된 평균 방법에 의해 지배되지 않음.
• 강한 종속성($\rho = 0.9$) 하에서는 기하 평균과 산술 평균 방법이 본페로니 및 $r < -1$ 방법보다 더 우수하며, $K$ 가 증가함에 따라 $r < -1$ 방법은 성능이 악화됨.
• 파라미터 $r$ 의 선택은 검정력에 큰 영향을 미치며, $r \approx -1$ 은 증가하는 스케일링 요소로 인해 불안정해지고, $r \in [-5, 0]$ 범위에서는 모든 시뮬레이션에서 안정적이고 효과적인 성능을 보임.