[论文解读] FMRI Clustering in AFNI: False Positive Rates Redux

Robert W. Cox, Gang Chen+3 more|arXiv (Cornell University)|Feb 16, 2017

Functional Brain Connectivity Studies参考文献 5被引用 33

一句话总结

本文重新評估了FMRI群體分析工具中偽陽性率（FPR）被誇大的說法，特別是AFNI的3dClustSim，質疑了所報告問題的嚴重性。研究顯示，雖然參數方法因非高斯噪聲空間自相關性而導致一定程度的FPR膨脹，但最壞情況被誇大；AFNI的FPR並未明顯高於其他工具。作者提出了更新的空間平滑度估計方法，以及兩種新的排列方法，使FPR在p ≤ 0.01時緊密聚集於5%附近，提升了FMRI聚cluster推斷的可靠性。

ABSTRACT

Recent reports of inflated false positive rates (FPRs) in FMRI group analysis tools by Eklund et al. (2016) have become a large topic within (and outside) neuroimaging. They concluded that: existing parametric methods for determining statistically significant clusters had greatly inflated FPRs ("up to 70%," mainly due to the faulty assumption that the noise spatial autocorrelation function is Gaussian- shaped and stationary), calling into question potentially "countless" previous results; in contrast, nonparametric methods, such as their approach, accurately reflected nominal 5% FPRs. They also stated that AFNI showed "particularly high" FPRs compared to other software, largely due to a bug in 3dClustSim. We comment on these points using their own results and figures and by repeating some of their simulations. Briefly, while parametric methods show some FPR inflation in those tests (and assumptions of Gaussian-shaped spatial smoothness also appear to be generally incorrect), their emphasis on reporting the single worst result from thousands of simulation cases greatly exaggerated the scale of the problem. Importantly, FPR statistics depend on "task" paradigm and voxelwise p-value threshold; as such, we show how results of their study provide useful suggestions for FMRI study design and analysis, rather than simply a catastrophic downgrading of the field's earlier results. Regarding AFNI (which we maintain), 3dClustSim's bug-effect was greatly overstated - their own results show that AFNI results were not "particularly" worse than others. We describe further updates in AFNI for characterizing spatial smoothness more appropriately (greatly reducing FPRs, though some remain >5%); additionally, we outline two newly implemented permutation/randomization-based approaches producing FPRs clustered much more tightly about 5% for voxelwise p<=0.01.

研究动机与目标

• 重新評估Eklund等人（2016）的說法是否正確，即參數FMRI聚cluster推斷方法，特別是AFNI中的方法，存在嚴重膨脹的偽陽性率（FPR）。
• 調查AFNI的3dClustSim工具是否真的如所聲稱的那樣具有「特別高的」FPR，並評估其報告錯誤的影響。
• 開發並驗證改進的空間平滑度估計方法與聚cluster推斷方法，以減少FMRI群體分析中的FPR膨脹。
• 基於不同任務範式與p值門檻下的FPR行為，為FMRI研究設計與分析提供實際指導。

提出的方法

• 重新分析Eklund等人（2016）的模擬資料與結果，直接比較各軟體工具（包括AFNI）的FPR表現。
• 重新實作並重新評估3dClustSim演算法，以評估報告錯誤對FPR膨脹的實際影響。
• 在AFNI中開發並應用更新的空間平滑度估計技術，以更好地模擬非高斯、非平穩噪聲的空間自相關性。
• 實作兩種新的基於排列/隨機化方法的聚cluster推斷，這些方法不依賴於噪聲結構的參數假設。
• 在多種任務範式與體素水準p值門檻（例如p ≤ 0.01）下評估FPR表現，以測試其穩健性。
• 使用模擬資料與實證驗證，比較參數與非參數方法的FPR表現，專注於聚cluster層級的推斷。

实验结果

研究问题

• RQ1 與非參數替代方法相比，參數FMRI聚cluster推斷方法（包括AFNI中的方法）的偽陽性率是否真的存在嚴重膨脹？
• RQ2 3dClustSim錯誤對FPR膨脹的影響有多大？AFNI的表現是否真的如所聲稱的那樣「特別高」？
• RQ3 即使噪聲為非高斯且非平穩，改進的空間平滑度估計是否能減少參數聚cluster推斷中的FPR膨脹？
• RQ4 AFNI中新的基於排列的方法是否能在多種實驗條件下，使FPR緊密聚集於名義上的5%水準？
• RQ5 任務範式與體素水準p值門檻如何影響FMRI聚cluster推斷中的FPR行為？

主要发现

• Eklund等人（2016）報告的最壞情況FPR膨脹（高達70%）僅基於單一極端模擬案例，因此高估了整體問題；模擬中的平均FPR膨脹程度較為溫和。
• AFNI的3dClustSim並未表現出「特別高的」FPR，與其他軟體工具相比並無顯著差異；原報告中對錯誤影響的評估被嚴重誇大。
• AFNI中更新的空間平滑度估計顯著降低了FPR膨脹，但某些條件下仍殘留部分FPR高於5%。
• AFNI中新增的兩種基於排列的方法，在體素水準p ≤ 0.01時產生緊密聚集於名義5%水準的FPR，顯示出高度準確性。
• FPR表現高度依賴於任務範式與體素水準p值門檻，表明研究設計選擇對推斷可靠性有重大影響。
• 研究結果支持使用非參數排列方法進行聚cluster推斷，並為減少FMRI群體分析中的FPR膨脹提供了實用指導。