[論文レビュー] FMRI Clustering in AFNI: False Positive Rates Redux

Robert W. Cox, Gang Chen+3 more|arXiv (Cornell University)|Feb 16, 2017

Functional Brain Connectivity Studies参考文献 5被引用数 33

ひとこと要約

本稿は、FMRI群集分析ツール、特にAFNIの3dClustSimにおける偽陽性率（FPR）の高水準な上昇に関する主張を再評価し、報告された問題の深刻さに疑問を呈する。非パラメトリック手法は、非ガウス分布のノイズ空間自己相関に起因するFPRの上昇を示すが、最悪ケースの影響は誇張されており、AFNIのFPRは他のツールと比べて顕著に悪化しているわけではない。著者らは、非ガウス的かつ非定常的ノイズの空間自己相関をよりよくモデル化する更新済みの空間平滑化推定法と、2つの新しいノンパラメトリック手法を提案し、p ≤ 0.01の条件下でFPRが5%にきわめて集中する結果を得た。これにより、FMRIクラスタ推論の信頼性が向上した。

ABSTRACT

Recent reports of inflated false positive rates (FPRs) in FMRI group analysis tools by Eklund et al. (2016) have become a large topic within (and outside) neuroimaging. They concluded that: existing parametric methods for determining statistically significant clusters had greatly inflated FPRs ("up to 70%," mainly due to the faulty assumption that the noise spatial autocorrelation function is Gaussian- shaped and stationary), calling into question potentially "countless" previous results; in contrast, nonparametric methods, such as their approach, accurately reflected nominal 5% FPRs. They also stated that AFNI showed "particularly high" FPRs compared to other software, largely due to a bug in 3dClustSim. We comment on these points using their own results and figures and by repeating some of their simulations. Briefly, while parametric methods show some FPR inflation in those tests (and assumptions of Gaussian-shaped spatial smoothness also appear to be generally incorrect), their emphasis on reporting the single worst result from thousands of simulation cases greatly exaggerated the scale of the problem. Importantly, FPR statistics depend on "task" paradigm and voxelwise p-value threshold; as such, we show how results of their study provide useful suggestions for FMRI study design and analysis, rather than simply a catastrophic downgrading of the field's earlier results. Regarding AFNI (which we maintain), 3dClustSim's bug-effect was greatly overstated - their own results show that AFNI results were not "particularly" worse than others. We describe further updates in AFNI for characterizing spatial smoothness more appropriately (greatly reducing FPRs, though some remain >5%); additionally, we outline two newly implemented permutation/randomization-based approaches producing FPRs clustered much more tightly about 5% for voxelwise p<=0.01.

研究の動機と目的

• Eklundら（2016）が主張した、特にAFNIにおけるパラメトリックFMRIクラスタ推論手法が著しく高い偽陽性率（FPR）を示すという主張の妥当性を再評価すること。
• AFNIの3dClustSimツールが、報告された「特に高い」FPRを示しているかどうかを検証し、その報告されたバグの影響を評価すること。
• FPRの上昇を抑えるために、空間平滑化推定とクラスタ推論の改善手法を開発・検証すること。
• さまざまなタスクパラダイムとp値の閾値におけるFPR挙動に基づいて、FMRI研究設計と解析の実用的指針を提供すること。

提案手法

• Eklundら（2016）のシミュレーションデータと結果を再分析し、AFNIを含む複数のソフトウェアツール間でのFPR性能を直接比較した。
• 3dClustSimアルゴリズムを再実装し、報告されたバグがFPR上昇に与える実際の影響を評価した。
• 非ガウス的かつ非定常的ノイズの空間自己相関をよりよくモデル化する、AFNIにおける更新済みの空間平滑化推定技術を考案・適用した。
• ノイズ構造に関するパラメトリック仮定に依存しない、2つの新しいパーミュテーション／ランダマイゼーションベースのクラスタ推論手法を実装した。
• 複数のタスクパラダイムとボクセルワイドのp値閾値（例：p ≤ 0.01）を用いてFPR性能を評価し、その頑健性を検証した。
• シミュレーションデータと実データの両方を用いて、パラメトリック手法とノンパラメトリック手法のFPRを比較し、クラスタレベルでの推論に注目した。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックFMRIクラスタ推論手法、特にAFNIにおけるFPRが非パラメトリック手法と比べてどれほど著しく上昇しているのか。
• RQ2 3dClustSimのバグがFPR上昇に与える影響はどの程度で、AFNIの性能が本当に「特に高い」という主張は妥当か。
• RQ3 改善された空間平滑化推定法は、非ガウス的かつ非定常的ノイズがある状況でも、パラメトリッククラスタ推論におけるFPR上昇を抑えることができるか。
• RQ4 AFNIに新たに実装されたパーミュテーションベースの手法は、多様な実験的条件下で、FPRが名目の5％にきわめて集中しているか。
• RQ5 タスクパラダイムとボクセルワイドのp値閾値は、FMRIクラスタ推論におけるFPR挙動にどのように影響を与えるか。

主な発見

• Eklundら（2016）が報告した最悪ケースのFPR上昇（最大70％）は、単一の極端なシミュレーションケースに基づくものであり、全体的な問題の深刻さが誇張されていた。シミュレーション全体での平均的なFPR上昇はより穏やかであった。
• AFNIの3dClustSimは、他のソフトウェアツールと比べて「特に高い」FPRを示していなかった。元の報告におけるバグの影響は著しく誇張されていた。
• AFNIにおける更新済みの空間平滑化推定法は、FPR上昇を顕著に低減したが、特定の条件下では依然として5％を超える残留FPRが観察された。
• AFNIに新たに実装された2つのパーミュテーションベース手法は、ボクセルワイドp ≤ 0.01の条件下でFPRが名目の5％にきわめて集中しており、高い正確性を示した。
• FPRの挙動はタスクパラダイムとボクセルワイドのp値閾値に強く依存しており、研究設計の選択が推論の信頼性に顕著に影響することが示された。
• 本研究の結果は、クラスタ推論にノンパラメトリックパーミュテーション手法を用いることを支持し、FMRI群集分析におけるFPR上昇を最小限に抑えるための実用的ガイドラインを提供する。