[논문 리뷰] False Discovery Rate and Localizing Power

Anderson M. Winkler, Paul A. Taylor외 2명|arXiv (Cornell University)|2024. 01. 07.

Functional Brain Connectivity StudiesNeuroscience인용 수 3

한 줄 요약

이 논문은 이중측 검정을 사용할 때 신경영상 분석에서 표준 FDR 보정이 방향 오류 비율을 심각하게 과대평가할 수 있음을 보여주며, 이는 방향 부분집합 내에서 잘못된 발견에 대한 제어가 약하기 때문이다. 이를 해결하기 위해 저자는 FDR 보정 이전에 검정 통계량을 방향(양/음의 검정 통계량)으로 분할하는 방법을 제안함으로써, FDR 제어와 검정력을 유지하면서도 유효한 방향적 추론을 가능하게 하며, 이 방법을 지원하기 위해 신경영상 소프트웨어에서 비대칭 임계값을 도입할 것을 주장한다.

ABSTRACT

False discovery rate (FDR) is commonly used for correction for multiple testing in neuroimaging studies. However, when using two-tailed tests, making directional inferences about the results can lead to a vastly inflated error rate, even approaching 100% in some cases. This happens because FDR controls the error rate only globally, over all tests, not within subsets, such as among those in only one or another direction. Here we consider and evaluate different strategies for FDR control in such cases, using both synthetic and real imaging data. Approaches that separate the tests by direction of the hypothesis test, or by the direction of the resulting test statistic, more properly control the directional error rate and preserve FDR benefits, albeit with a doubled risk of errors under complete absence of signal. Strategies that combine tests in both directions, or that use simple two-tailed p-values, can lead to invalid directional conclusions, even if these tests remain globally valid. A solution to this problem is through the use of selective inference, whereby positive and negative tails are treated as sets (families), which are screened locally, then subjected to FDR at a modified level that controls average FDR over those that survive the initial screening. Moreover, the BKY procedure can be used in place of the well-known Benjamini-Hochberg, yielding additional power. These methods are easy to implement. Finally, to enable valid thresholding for directional inference, we suggest that imaging software should allow the user to set asymmetrical thresholds for the two sides of the statistical map. While FDR continues to be a valid, powerful procedure for multiple testing correction, care is needed when making directional inferences for two-tailed tests, or more broadly, when making any localized inference.

연구 동기 및 목표

• 이중측 검정을 사용할 때 신경영상에서 표준 FDR 보정이 방향 오류 비율을 제어하지 못하는 이유를 조사하기 위해.
• 기존의 FDR 절차가 전반적인 FDR 제어는 유지하고도 왜 유효하지 않은 방향적 추론을 초래하는지 규명하기 위해.
• FDR의 이점을 유지하면서도 이중측 검정 이후에 유효한 방향적 결론을 이끌 수 있도록 전략을 제안하고 평가하기 위해.
• 이중측 검정 후 유효한 방향적 추론을 가능하게 하기 위해 신경영상 도구에서 비대칭 임계값을 지원할 것을 주장하기 위해.
• BH 및 BYU 절차의 검정력과 오류 제어를 비교하고, 실무에서 더 강력한 BKY 방법을 권장하기 위해.

제안 방법

• FDR 보정 이전에 이중측 검정 통계량을 양의 방향과 음의 방향으로 분할하여 방향적 추론을 가능하게 하기 위해.
• 의존성 하에서도 강력한 FDR 제어를 위해 Benjamini-Yekutieli (BY) 절차를 적용하고, 더 높은 민감도를 확보하기 위해 더 강력한 Benjamini-Krieger-Yekutieli (BKY) 절차를 사용하기 위해.
• 다양한 전략에 대한 오류 비율과 통계적 검정력을 평가하기 위해 합성 및 실제 신경영상 데이터를 모두 활용하기 위해.
• BKY 절차 기반의 p-값 조정 방법을 구현하고 검증하기 위해, 정렬된 p-값에 기반하여 기울기가 가변적인 임계값을 적용하는 방법을 사용하기 위해.
• 신경영상 소프트웨어에서 양성 및 음성 지ap 값에 대해 별도로 사용자 정의 가능한 임계값을 지원하여 비대칭 시각화를 가능하게 하기 위해.
• 신호 비대칭성이 오류 비율과 검정력에 미치는 영향을 평가하기 위해, 특히 비대칭 효과 분포 하에서의 영향을 분석하기 위해.

실험 결과

연구 질문

• RQ1 이중측 검정을 사용할 때 표준 FDR 보정이 방향 오류 비율을 유효하게 제어하는가?
• RQ2 신호가 비대칭적으로 분포할 경우 FDR 보정 이후에 방향적 추론을 내릴 경우 어떤 결과가 초래되는가?
• RQ3 FDR 절차를 수정하여 전반적인 FDR 제어를 유지하면서도 유효한 방향적 추론을 보장할 수 있는가?
• RQ4 의존성 하에서 BKY 절차는 BH 및 BY 절차와 비교해 검정력과 오류 제어 측면에서 어떻게 다른가?
• RQ5 FDR 보정 이후 유효한 방향적 추론을 가능하게 하기 위해 신경영상 소프트웨어에 어떤 변경이 필요한가?

주요 결과

• 이중측 검정을 사용한 FDR 보정은 전반적인 FDR가 잘 제어되어 있어도, 약한 제어로 인해 방향 오류 비율이 100%에 가까워질 수 있다.
• 검정 통계량의 방향(예: 양성 대비 음성)에 따라 검정을 분리하는 전략은 방향적 가짜 발견률을 적절히 제어하고 유효하지 않은 추론을 방지한다.
• BKY 절차는 기울기가 가변적인 임계값을 허용함으로써 BH보다 더 높은 통계적 검정력을 제공하지만, O(V²)의 계산 시간이 필요하다.
• 양방향 검정 결과를 결합하거나 단순한 이중측 p-값을 사용하는 것은 전반적인 FDR 유효성은 유지하나, 유효하지 않은 방향적 추론을 초래한다.
• FDR 보정 지도를 이중측 검정 이후에 정확히 해석하기 위해서는 비대칭 임계값을 사용한 시각화 소프트웨어가 필수적이다.
• 의존성 하에서도 BH 및 BKY 절차는 충분한 오류 제어를 유지하며 BY 절차보다 더 선호된다.