[논문 리뷰] False Discovery Proportion control for aggregated Knockoffs

Alexandre Blain, Bertrand Thirion외 2명|arXiv (Cornell University)|2023. 10. 16.

Gene expression and cancer classificationBiochemistry, Genetics and Molecular Biology참고 문헌 27인용 수 3

한 줄 요약

이 논문은 뇌 영상 및 유전체 데이터에서 기존 방법보다 높은 검정력과 엄격한 FDP 제어를 달성하면서 재현 가능성을 보장하고 근본 분포에 대한 가정 없이 고차원 변수 선택에서 잘못 발견 비율(FDP)을 제어하는 새로운 Knockoff 기반 방법 KOPI를 제안한다. KOPI는 다중 Knockoff 샘플에서 유도된 π-통계량을 조화 평균 집계 및 공동 오류율(JER) 校정을 통해 FDP를 제어한다.

ABSTRACT

Controlled variable selection is an important analytical step in various scientific fields, such as brain imaging or genomics. In these high-dimensional data settings, considering too many variables leads to poor models and high costs, hence the need for statistical guarantees on false positives. Knockoffs are a popular statistical tool for conditional variable selection in high dimension. However, they control for the expected proportion of false discoveries (FDR) and not their actual proportion (FDP). We present a new method, KOPI, that controls the proportion of false discoveries for Knockoff-based inference. The proposed method also relies on a new type of aggregation to address the undesirable randomness associated with classical Knockoff inference. We demonstrate FDP control and substantial power gains over existing Knockoff-based methods in various simulation settings and achieve good sensitivity/specificity tradeoffs on brain imaging and genomic data.

연구 동기 및 목표

• 기본 Knockoff 방법이 기대 FDR만 제어할 뿐 잘못 발견 비율(FDP) 제어를 하지 않는 점을 해결한다.
• 각 실행에서 랜덤하게 생성되는 Knockoff로 인한 불안정성과 재현 불가능성 문제를 줄인다.
• 기존 집계 기반 Knockoff 방법보다 검정력을 향상시키면서도 FDP 제어를 유지한다.
• Null 하에서 Knockoff 통계량이 i.i.d.일 것이라는 가정 없이도 다양한 집계 방식에 대해 강건한 방법을 개발한다.
• 뇌영상 및 유전체학과 같은 고차원 환경에서 신뢰할 수 있고 재현 가능하며 강력한 조건부 변수 선택을 가능하게 한다.

제안 방법

• 다중 Knockoff 샘플에서 유도된 π-통계량을 조화 평균 집계하는 새로운 집계 기법을 제안하여 안정성과 검정력을 향상시킨다.
• 명시적인 FDP 상한선을 도출하기 위해 공동오류율(JER) 프레임워크를 도입하여 엄밀한 FDP 제어를 가능하게 한다.
• 반복적 검색을 통한 校정을 활용해 기각 임계치를 정밀하게 조정함으로써 FDP 제어를 확보하면서도 검정력을 극대화한다.
• Null 하에서 Knockoff 통계량의 대칭성을 활용해 유효하고 데이터 기반의 JER 상한선을 구축한다.
• π-통계량에서 유도된 집계된 e-값에 대해 e-BH 절차 프레임워크를 적용하여 강력한 방식으로 FDR 제어를 실현한다.
• 변수 중요도 순위화를 위해 [17]에서 제안한 π-통계량을 활용하고, 이를 다중 Knockoff 실현치 간에 집계한다.

실험 결과

연구 질문

• RQ1 FDR 제어를 대체로 사용하지 않고도 Knockoff 기반 추론에서 FDP 제어를 달성할 수 있는가?
• RQ2 다중 Knockoff 샘플의 집계가 고차원 변수 선택에서 재현 가능성과 통계적 검정력을 모두 향상시킬 수 있는가?
• RQ3 π-통계량의 조화 평균 집계가 분위수 기반 또는 평균 기반 집계 방식보다 더 높은 검정력을 제공하는가?
• RQ4 Null 하에서 Knockoff 통계량의 i.i.d. 행동을 가정하지 않고도 FDP 제어를 달성할 수 있는가?
• RQ5 실제 fMRI 및 유전체 데이터셋에서 제안된 방법은 기존 집계 기반 Knockoff 방법과 비교해 검정력과 FDP 제어 측면에서 어떻게 성능을 내는가?

주요 결과

• KOPI는 모든 시뮬레이션 설정과 실제 데이터 응용(뇌영상 및 유전체학 포함)에서 명목 수준의 FDP 제어를 달성한다.
• 반-시뮬레이션 fMRI 데이터에서 KOPI는 모든 방법 중에서 가장 높은 통계적 검정력(중위 검정력 > 0.8)을 확보하면서도 FDP 제어를 유지했으며, 모든 다른 Knockoff 기반 접근법을 능가했다.
• 79명의 샘플, 90개 유전자로 구성된 유전자 데이터셋에서 KOPI는 50회의 실행 동안 유일하게 8개의 유전자만 선택했고, 그 중 3개 유전자는 100%의 빈도로 선택되어 높은 안정성과 특이성을 보였다.
• 기본 Knockoff 방법은 실행 간에 24개의 다른 유전자를 선택했고, 어떤 유전자도 70%를 초과하는 선택 빈도를 기록하지 못해 낮은 재현 가능성의 문제를 보였다.
• 기타 모든 집계 기반 방법은 유전자 데이터셋에서 모든 실행에서 검정력이 없었지만, KOPI는 일관되게 효과적인 성능를 보였다.
• KOPI의 계산 시간은 전통적인 Knockoff 집계 방법과 유사하며, 일반적인 fMRI 데이터셋에서는 단지 몇 분 내로 처리된다.