[논문 리뷰] Efficiently estimating small p-values in permutation tests using importance sampling and cross-entropy method

Yang Shi, Huining Kang외 2명|arXiv (Cornell University)|2016. 07. 30.

Bayesian Methods and Mixture Models참고 문헌 5인용 수 4

한 줄 요약

이 논문은 페어드 및 독립된 두 그룹의 게놈 데이터에 대한 순열 검정에서 작은 p-값을 효율적으로 추정하기 위해 중요도 표본화 프레임워크와 교차 엔트로피 방법을 결합한 새로운 방법을 제안한다. 베르누이 및 조건부 베르누이 분포를 사용하여 순열 공간을 매개변수화함으로써, 이 방법은 난잡한 순열과 SAMC에 비해 수개의 주기 빠른 계산을 달성하며, 최소한의 계산 비용으로 정확한 작은 p-값 추정을 가능하게 한다.

ABSTRACT

Permutation tests are widely used for statistical hypothesis testing when the sampling distribution of the test statistic under the null hypothesis is analytically intractable or unreliable due to finite sample sizes. One critical challenge in the application of permutation tests in genomic studies is that an enormous number of permutations are often needed to obtain reliable estimates of very small $p$-values, leading to intensive computational effort. To address this issue, we develop algorithms for the accurate and efficient estimation of small $p$-values in permutation tests for paired and independent two-group genomic data, and our approaches leverage a novel framework for parameterizing the permutation sample spaces of those two types of data respectively using the Bernoulli and conditional Bernoulli distributions, combined with the cross-entropy method. The performance of our proposed algorithms is demonstrated through the application to two simulated datasets and two real-world gene expression datasets generated by microarray and RNA-Seq technologies and comparisons to existing methods such as crude permutations and SAMC, and the results show that our approaches can achieve orders of magnitude of computational efficiency gains in estimating small $p$-values. Our approaches offer promising solutions for the improvement of computational efficiencies of existing permutation test procedures and the development of new testing methods using permutations in genomic data analysis.

연구 동기 및 목표

• 게놈 데이터의 순열 검정에서 매우 작은 p-값을 추정하는 데 발생하는 계산 부담을 해결하기 위해.
• 고차원 게노믹스에서 신뢰할 수 있는 p-값 추정을 위해 필요한 순열 수를 줄이기 위해.
• 페어드 및 독립된 두 그룹 설계에서 작은 p-값 추정을 위한 확장 가능하고 정확한 방법을 개발하기 위해.
• 게노믹스에서 기존의 순열 기반 검정 절차의 효율성을 향상시키기 위해.
• 기존 방법이 계산적으로 금기인 대규모 옴믹스 연구에서 순열 검정의 실용적 적용을 가능하게 하기 위해.

제안 방법

• 페어드 및 독립된 두 그룹 데이터의 순열 표본 공간을 각각 베르누이 및 조건부 베르누이 분포를 사용하여 매개변수화한다.
• 교차 엔트로피 방법을 활용하여 중요도 표본화 분포를 반복 최적화하여 꼬리 확률 추정을 효율적으로 수행한다.
• 중요도 표본화를 사용하여 극단적인 순열 결과에 대한 시뮬레이션 자원을 집중함으로써 분산과 계산 비용을 감소시킨다.
• 알고리즘은 작은 p-값에 기여하는 비율이 가장 높은 순열 공간 영역에 집중할 수 있도록 표본 추출 매개변수를 적응적으로 조정한다.
• 이 프레임워크는 시뮬레이션된 데이터와 마이크로어레이 및 RNA-Seq 기술에서 유래한 실제 유전자 발현 데이터 세트에 적용된다.
• 성능 평가 기준은 난잡한 순열과 SAMC이며, 계산 효율성과 p-값 정확성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 중요도 표본화와 교차 엔트로피 최적화를 사용하면 게놈 데이터에서 작은 p-값을 추정하기 위해 필요한 순열 수를 크게 줄일 수 있는가?
• RQ2 소작한 p-값에 대해 제안된 방법은 난잡한 순열 검정과 SAMC에 비해 정확성과 속도에서 어떻게 비교되는가?
• RQ3 이 방법은 페어드 및 독립된 두 그룹의 게놈 설계에 효과적으로 적용될 수 있는가?
• RQ4 기존 방법과 비교했을 때 런타임 단축과 표본 수 감소 측면에서 계산적 이득은 어느 정도인가?
• RQ5 이 방법은 실제 게노믹스 응용 분야에서 통계적 타당성과 제1종 오류 통제를 유지하는가?

주요 결과

• 제안된 방법은 작은 p-값 추정에서 난잡한 순열과 SAMC에 비해 계산 효율성에서 수개의 주기 빠른 향상을 달성한다.
• 시뮬레이션된 데이터 세트에서, 표준 방법에 비해 훨씬 적은 순열 수로 정확한 p-값을 도출하였다.
• 마이크로어레이 및 RNA-Seq에서 유래한 실제 유전자 발현 데이터 세트에서, 일부 경우에서 계산 시간을 최대 1000배까지 감소시키면서도 높은 정확도를 유지하였다.
• 독립된 두 그룹 데이터에 대해 조건부 베르누이 매개변수화를 사용함으로써 표본 추출 효율성과 수렴 속도가 향상되었다.
• 교차 엔트로피 방법은 중요도 표본화 분포를 효과적으로 최적화하여 p-값 추정의 분산을 최소화하였다.
• 이 방법은 다양한 게노믹스 데이터 유형과 작은 p-값 영역 전반에서 뛰어난 성능을 보였다.