[논문 리뷰] Flexible Multiple Testing with the FACT Algorithm

Edgar Dobriban|arXiv (Cornell University)|2018. 06. 26.

Statistical Methods in Clinical Trials참고 문헌 35인용 수 3

한 줄 요약

이 논문은 대규모 데이터셋에서 가족별 오류율을 제어하면서 대칭성과 단조성을 활용함으로써 유연하고 강력한 다중 가설 검정 방법인 Fast Closed Testing (FACT) 알고리즘을 소개한다. 이는 고전적인 닫힘 검정 원칙을 효율적으로 적용할 수 있게 하여 강한 신호와 중간 정도의 신호를 모두 효과적으로 탐지하는 데 뛰어난 검정력을 보이며, 시뮬레이션과 관상동맥질환의 전장 게놈 연관 연구를 통해 입증된다.

ABSTRACT

Modern high-throughput science often leads to multiple testing problems: researchers test many hypotheses, wishing to find the significant discoveries. The development of flexible multiple testing methods is thus a central problem in statistics. In this paper, we introduce the new Fast Closed Testing (FACT) method for multiple testing, controlling the family-wise error rate. Our method relies on symmetry and monotonicity to enable the classical closed testing principle in the important setting of large datasets. As the closed testing principle is more than 40 years old, we find it surprising that this simple and fundamental algorithm has not been described before. Our FACT method is general and flexible, and can be used to design powerful new architectures for multiple testing. We showcase it by proposing the Simes-Higher Criticism fusion test, which is powerful for detecting both a few strong signals, and also many moderate signals. We illustrate the method in simulations and in a genome-wide association study of coronary artery disease, and obtain more power than with existing methods.

연구 동기 및 목표

• 고속 과학 데이터에서의 다중 검정 문제를 다루기 위해 기존 방법들이 종종 검정력이나 확장성에 결함이 있음을 해결하고자 한다.
• 이전에 대규모 설정에서 거의 사용되지 않았던 고전적인 닫힘 검정 원칙을 대칭성과 단조성을 활용해 효율적으로 구현하고자 한다.
• 다양한 과학적 응용 분야에 적합한 강력하고 유연한 다중 검정 아키텍처 설계를 위한 일반적 프레임워크를 개발하고자 한다.
• 기존 방법들이 효과적으로 균형을 이루지 못하는 소수의 강한 신호와 다수의 중간 정도의 신호를 동시에 탐지할 수 있는 검정력을 향상시키고자 한다.

제안 방법

• FACT 알고리즘은 대칭성과 단조성을 활용하여 대규모 다중 검정에서 계산 비용을 줄이며 닫힘 검정 원칙을 적용한다.
• 모든 가능한 가설의 교차를 계산적으로 효율적으로 검정함으로써 정확한 가족별 오류율 제어를 가능하게 한다.
• 검정 통계량의 구조를 활용하여 중복 계산을 방지함으로써 고차원 데이터에 대한 확장성을 확보한다.
• 유연한 검정 통계량을 지원하며, Simes 및 고차 비평과 같은 다양한 근본적 검정과 조합하여 융합 검정을 구성할 수 있다.
• Simes-고차 비평 융합 검정은 강한 신호와 중간 정도의 신호에 모두 민감한 새로운 아키텍처로 제안된다.
• 알고리즘은 일반적이게 설계되어 기존의 다중 검정 절차와 통합 가능하며 강력한 오류율 제어를 유지한다.

실험 결과

연구 질문

• RQ1 수천 또는 수백만 개의 가설을 포함한 현대 고속 스트림 데이터셋에 고전적인 닫힘 검정 원칙을 효율적으로 적용할 수 있는가?
• RQ2 검정 통계량의 대칭성과 단조성을 어떻게 활용하여 오류율 제어를 훼손하지 않고 닫힘 검정을 가속화할 수 있는가?
• RQ3 다양한 신호 패턴에서 강력한 오류율 제어를 유지하면서도 검정력을 향상시키는 통합 프레임워크를 개발할 수 있는가?
• RQ4 이 효율적인 닫힘 검정 접근법을 기반으로 어떤 새로운 다중 검정 아키텍처를 설계할 수 있는가?
• RQ5 실제 유전체 데이터에서 FACT 방법은 기존의 다중 검정 절차에 비해 어떤가한가?

주요 결과

• FACT 알고리즘은 대칭성과 단조성을 통해 고전적인 닫힘 검정 원칙을 효율적으로 적용함으로써 대규모 다중 검정에서 정확한 가족별 오류율 제어를 가능하게 한다.
• 계산 비용을 크게 절감하여 게놈 전역 연관 연구와 같은 고속 스트림 응용 분야에서 닫힘 검정을 실현 가능하게 한다.
• FACT에 의해 가능해진 Simes-고차 비평 융합 검정은 소수의 강한 신호와 다수의 중간 정도의 신호를 동시에 탐지하는 데 뛰어난 검정력을 보인다.
• 관상동맥질환에 대한 전장 게놈 연관 연구에서 FACT는 기존 방법보다 더 많은 유의적인 연관성을 탐지하여 실용적 유용성을 입증했다.
• 시뮬레이션 결과 FACT가 경쟁 방법들보다 더 높은 통계적 검정력을 확보하면서도 강력한 오류율 제어를 유지하는 것으로 확인되었다.