[論文レビュー] Which Findings from the Functional Neuromaging Literature Can We Trust?

Daniel Kessler, Mike Angstadt+1 more|arXiv (Cornell University)|Aug 3, 2016

Functional Brain Connectivity Studies参考文献 8被引用数 3

ひとこと要約

本研究では、RFTに基づく家族-wise誤差（FWE）補正済みp値と、ノンパラメトリックなパーミュテーション法を用いたFalse Discovery Rate（FDR）制御を比較することで、機能的神経画像法の結果の信頼性を評価している。厳密なクラスタ定義閾値（CDT = .001）では、RFT-FWE p値がα = .05におけるFDR制御をよく近似するが、緩い閾値（CDT = .01）では、FDRの有意性を保証するには非常に小さなp値（≤ .00001）が必要となることが判明し、過去のfMRI文献の解釈に定量的指針を提供している。

ABSTRACT

In their recent "Cluster Failure" paper, Eklund and colleagues cast doubt on the accuracy of a widely used statistical test in functional neuroimaging. Here, we leverage nonparametric methods that control the false discovery rate to offer more nuanced, quantitative guidance about which findings in the existing literature can be trusted. We show that, in the task studies examined by Eklund et al., most clusters originally reported to be significant are indeed trustworthy by the false discovery rate benchmark.

研究の動機と目的

• RFTに基づくFWE補正の既知の限界を踏まえ、文献に報告されたfMRI結果のうち、どの程度信頼できるかを定量的・データ駆動的に指針を提供すること。
• RFT-FWE p値の実用的解釈のギャップを埋めるために、ノンパラメトリックなパーミュテーション法を用いたより頑健なFDRベースの推論と比較すること。
• 一般的に報告されているRFT-FWE有意クラスタが、FDR制御下でも有意であるかどうかを評価し、偽陽性率の観点からその信頼性を検証すること。
• RFTに基づくクラスタレベル推論を用いた過去のfMRI研究に対する懐疑心の度合いを調整するためのベンチマークを研究者に提供すること。

提案手法

• 著者らは、各対照毎に5,000回のノンパラメトリックな符号反転パーミュテーションを用いて、クラスタサイズの経験的ノイズ分布を生成した。
• 各クラスタについて、等しいかそれ以上のクラスタサイズを示すパーミュテーションの割合に基づき、補正されていないp値を計算した。
• 補正されていないp値のベクトルに対して、α = .05でBenjamini-HochbergのFDR手順を適用し、誤った発見の期待割合を制御した。
• クラスタ定義閾値としてCDT = .001とCDT = .01の2つの条件で分析を別々に実施し、閾値選択への感受性を評価した。
• RFT-FWE p値とFDR補正済み有意性の比較により、FDR制御下でも有意であるとされるクラスタを特定した。
• この手法は、Eklundらのクラスタ失敗研究で用いられた同一のオープンアクセスfMRIタスクデータに適用されており、一貫性と再現性が保たれている。

実験結果

リサーチクエスチョン

• RQ1 RFTに基づくFWE補正で報告されたfMRI結果のうち、FDR制御を用いて評価した場合、どの程度信頼できるか？
• RQ2 RFT-FWE有意クラスタの信頼性は、異なるクラスタ定義閾値（CDT）によってどのように変化するか？
• RQ3 実際のfMRIデータにおいて、RFT-FWE p値はどの程度、有効なFDR制御を近似しているか？
• RQ4 ノンパラメトリックなパーミュテーション法は、過去のfMRI結果の信頼性を評価するより正確なベンチマークを提供できるか？
• RQ5 緩いCDT条件下で、α = .05におけるFDR有意性を保証するRFT-FWE p値の閾値は何か？

主な発見

• CDT = .001の場合、RFT-FWE（p ≤ .05）で有意であったクラスタのうち、FDR補正下でも有意であったのは1つのみで、RFT-FWEとFDR制御の間には強い整合性があることが示された。
• CDT = .01の場合、FDR補正下でも有意であったのは、RFT-FWE p値 ≤ .00001 のクラスタに限られ、この閾値でのRFT-FWE有意結果の多くはFDR制御下では頑健でないことが判明した。
• 結果から、CDT = .001におけるRFT-FWE補正は、有効なFDR制御の妥当な近似であることが示され、この閾値を用いた研究の多くが信頼できると支持される。
• CDT = .01では、RFT-FWEとFDR制御の間で顕著な乖離が生じており、FDR基準で評価すると多くの報告結果が偽陽性である可能性があることが示された。
• 本研究は、RFTに基づくクラスタレベル推論を用いた過去のfMRI研究の信頼性を評価するための定量的・データ駆動のベンチマークを提供した。
• 研究結果は、特に緩いCDTを用いた研究については、fMRI結果の解釈を慎重に行うべきであり、クラスタレベル推論における手法の洗練化の必要性を強調している。