[論文レビュー] False Discovery Rate and Localizing Power

Anderson M. Winkler, Paul A. Taylor+2 more|arXiv (Cornell University)|Jan 7, 2024

Functional Brain Connectivity StudiesNeuroscience被引用数 3

ひとこと要約

本稿は、神経画像解析における両側検定で標準的な誤り発見率（FDR）補正を用いる場合、方向性サブセット内の誤り発見を弱く制御するため、方向誤り率が著しく上昇する可能性があることを示している。これを解決するために、FDR補正の前段階で検定統計量を正負に分類する手法を提案し、FDR制御とパワーを維持したまま有効な方向性推論を可能にする。また、神経画像解析ソフトウェアにおける非対称しきい値の導入を提言し、このアプローチを支援する。

ABSTRACT

False discovery rate (FDR) is commonly used for correction for multiple testing in neuroimaging studies. However, when using two-tailed tests, making directional inferences about the results can lead to a vastly inflated error rate, even approaching 100% in some cases. This happens because FDR controls the error rate only globally, over all tests, not within subsets, such as among those in only one or another direction. Here we consider and evaluate different strategies for FDR control in such cases, using both synthetic and real imaging data. Approaches that separate the tests by direction of the hypothesis test, or by the direction of the resulting test statistic, more properly control the directional error rate and preserve FDR benefits, albeit with a doubled risk of errors under complete absence of signal. Strategies that combine tests in both directions, or that use simple two-tailed p-values, can lead to invalid directional conclusions, even if these tests remain globally valid. A solution to this problem is through the use of selective inference, whereby positive and negative tails are treated as sets (families), which are screened locally, then subjected to FDR at a modified level that controls average FDR over those that survive the initial screening. Moreover, the BKY procedure can be used in place of the well-known Benjamini-Hochberg, yielding additional power. These methods are easy to implement. Finally, to enable valid thresholding for directional inference, we suggest that imaging software should allow the user to set asymmetrical thresholds for the two sides of the statistical map. While FDR continues to be a valid, powerful procedure for multiple testing correction, care is needed when making directional inferences for two-tailed tests, or more broadly, when making any localized inference.

研究の動機と目的

• 神経画像解析において両側検定を用いた標準的なFDR補正が、方向誤り率を制御できない理由を調査すること。
• 従来のFDR手順がグローバルなFDR制御は達成しているものの、なぜ方向性推論が無効になるのかを特定すること。
• FDRの利点を維持しつつ、両側検定後の有効な方向性結論を導く戦略を提案・評価すること。
• 神経画像解析ツールにおける非対称しきい値のソフトウェア支援を提言し、適切な可視化と推論を可能にすること。
• BHおよびBY手順のパワーと誤り制御を比較し、実務においてより強力なBKY手法を推奨すること。

提案手法

• FDR補正の前段階で両側検定統計量を正負の方向に分類し、方向性推論を可能にする。
• 従属性がある状況下でも頑健なFDR制御を実現するベンジャミン＝イェクティェリ（BY）手順と、感度を高めたより強力なベンジャミン＝クリーガー＝イェクティェリ（BKY）手順を適用する。
• 合成データおよび実際の神経画像データを用いて、さまざまな戦略における誤り率と統計的パワーを評価する。
• BKY手順に基づくp値補正法を実装・検証し、ソート済みp値に応じて変動する勾配を持つしきい値を適応的に設定する。
• 神経画像解析ソフトウェアが正負のマップ値に対して別々のユーザー定義しきい値をサポートすることで、非対称な可視化を可能にするべきだと提言する。
• 信号の非対称性が誤り率とパワーに与える影響を、特に非対称な効果分布下で評価する。

実験結果

リサーチクエスチョン

• RQ1 両側検定を用いた標準的なFDR補正は、方向誤り率を適切に制御できるか？
• RQ2 信号が非対称に分布している場合、FDR補正後に方向性推論を行うとどのような結果が得られるか？
• RQ3 FDR手順をどのように変更すれば、グローバルなFDR制御を維持しつつ、有効な方向性推論を可能にすることができるか？
• RQ4 従属性がある状況下で、BKY手順はBHおよびBY手順と比較してパワーと誤り制御の点でどのように異なるか？
• RQ5 FDR補正後の有効な方向性推論を可能にするために、神経画像解析ソフトウェアにどのような変更が必要か？

主な発見

• 両側検定を用いたFDR補正では、グローバルなFDRが適切に制御されていても、弱い制御のため方向誤り率が100％に近づく可能性がある。
• 検定統計量の正負に応じてテストを分類する戦略（例：正 vs. 負）は、方向的誤り発見率を適切に制御し、無効な推論を防ぐ。
• BKY手順は、しきい値の勾配を可変にすることでBHより高い統計的パワーを発揮するが、計算時間はO(V²)を要する。
• 両方の方向からのテストを統合するか、単純な両側p値を使用すると、グローバルなFDRの有効性は保たれるものの、方向性推論は無効になる。
• FDR補正済みマップの可視化後に方向性推論を行うためには、非対称なしきい値の使用が不可欠である。
• 従属性がある状況下でも、BHおよびBKY手順は適切な誤り制御を維持しており、より保守的なBY手順よりも好ましい。