[논문 리뷰] FMRI Clustering in AFNI: False Positive Rates Redux

Robert W. Cox, Gang Chen외 3명|arXiv (Cornell University)|2017. 02. 16.

Functional Brain Connectivity Studies참고 문헌 5인용 수 33

한 줄 요약

이 논문은 FMRI 군 분석 도구에서 과도하게 높아진 위양성률(FPR)에 대한 주장, 특히 AFNI의 3dClustSim에서의 주장에 대해 재평가하며, 보고된 문제의 심각성을 도전한다. 비모수적 방법은 비정규분포의 공간 자기상관성에 기인한 FPR 상승을 보여주지만, 가장 악성인 경우가 과장되었으며, AFNI의 FPR은 다른 도구들과 비교해 뚜렷하게 악화되지 않았다. 저자들은 공간 스무딩 추정을 업데이트하고, 두 가지 새로운 순열 기반 방법을 도입하여 p ≤ 0.01일 때 FPR이 5%에 매우 가까운 집합을 이룬다. 이는 FMRI 군집 추론의 신뢰성 향상에 기여한다.

ABSTRACT

Recent reports of inflated false positive rates (FPRs) in FMRI group analysis tools by Eklund et al. (2016) have become a large topic within (and outside) neuroimaging. They concluded that: existing parametric methods for determining statistically significant clusters had greatly inflated FPRs ("up to 70%," mainly due to the faulty assumption that the noise spatial autocorrelation function is Gaussian- shaped and stationary), calling into question potentially "countless" previous results; in contrast, nonparametric methods, such as their approach, accurately reflected nominal 5% FPRs. They also stated that AFNI showed "particularly high" FPRs compared to other software, largely due to a bug in 3dClustSim. We comment on these points using their own results and figures and by repeating some of their simulations. Briefly, while parametric methods show some FPR inflation in those tests (and assumptions of Gaussian-shaped spatial smoothness also appear to be generally incorrect), their emphasis on reporting the single worst result from thousands of simulation cases greatly exaggerated the scale of the problem. Importantly, FPR statistics depend on "task" paradigm and voxelwise p-value threshold; as such, we show how results of their study provide useful suggestions for FMRI study design and analysis, rather than simply a catastrophic downgrading of the field's earlier results. Regarding AFNI (which we maintain), 3dClustSim's bug-effect was greatly overstated - their own results show that AFNI results were not "particularly" worse than others. We describe further updates in AFNI for characterizing spatial smoothness more appropriately (greatly reducing FPRs, though some remain >5%); additionally, we outline two newly implemented permutation/randomization-based approaches producing FPRs clustered much more tightly about 5% for voxelwise p<=0.01.

연구 동기 및 목표

• Eklund 등(2016)의 주장, 즉 비모수적 FMRI 군집 추론 방법, 특히 AFNI에서 심각하게 높아진 위양성률(FPR)을 재평가하는 것.
• AFNI의 3dClustSim 도구가 실제로 '특히 높은' FPR을 보이는지 확인하고, 보고된 버그의 영향을 평가하는 것.
• 공간 스무딩 추정 및 군집 추론을 향상시켜 FMRI 군 분석에서 FPR 상승을 줄이는 새로운 방법을 개발하고 검증하는 것.
• 다양한 작업 범주와 p-값 임계치에서 FPR 행동을 기반으로 FMRI 연구 설계 및 분석에 실용적인 지침을 제공하는 것.

제안 방법

• Eklund 등(2016)의 시뮬레이션 데이터와 결과를 재분석하여, AFNI 포함 소프트웨어 도구 간 FPR 성능을 직접 비교하는 것.
• 3dClustSim 알고리즘을 재구현하고 재평가하여 보고된 버그가 FPR 상승에 미치는 실제 영향을 평가하는 것.
• 비정규분포이자 비정상적인 노이즈의 공간 자기상관성을 더 잘 모델링하는 AFNI 내 업데이트된 공간 스무딩 추정 기법을 개발하고 적용하는 것.
• 노이즈 구조에 대한 비모수적 가정에 의존하지 않는 두 가지 새로운 순열/랜덤화 기반 군집 추론 방법을 구현하는 것.
• 다양한 작업 범주와 볼륨당 p-값 임계치(p ≤ 0.01 등)에서 FPR 성능을 평가하여 신뢰도를 점검하는 것.
• 모의 데이터와 실증적 검증을 모두 사용하여 비모수적 및 비모수적 방법의 FPR을 비교하고, 군집 수준에서의 군집화에 초점을 맞추는 것.

실험 결과

연구 질문

• RQ1 비모수적 FMRI 군집 추론 방법, 특히 AFNI 내 방법의 위양성률이 비모수적 대안에 비해 실제로 얼마나 과도하게 높아지는가?
• RQ2 3dClustSim 버그의 영향은 얼마나 크며, AFNI의 성능이 실제로 보고된 바와 같이 '특히 높은 편'인가?
• RQ3 개선된 공간 스무딩 추정 기법이 비정규분포이자 비정상적인 노이즈 조건에서도 비모수적 군집 추론에서 FPR 상승을 줄일 수 있는가?
• RQ4 AFNI에 새로 구현된 순열 기반 방법이 다양한 실험 조건에서 볼륨당 p ≤ 0.01일 때 FPR이 명목상 5% 수준에 매우 밀집되어 있는가?
• RQ5 작업 범주와 볼륨당 p-값 임계치는 FMRI 군집 추론에서 FPR 행동에 어떤 영향을 미치는가?

주요 결과

• Eklund 등(2016)에서 보고한 가장 악성인 FPR 상승(최대 70%)은 단일 극단적 시뮬레이션 케이스에 기반한 것이며, 전체 문제의 심각성을 과대평가한 것이다; 시뮬레이션 전체 평균 FPR 상승은 더 온건한 편이었다.
• AFNI의 3dClustSim은 다른 소프트웨어 도구와 비교해 '특히 높은' FPR을 보이지 않았으며, 원래 보고서에서 버그의 영향이 과장되었다.
• AFNI 내 업데이트된 공간 스무딩 추정 기법은 FPR 상승을 크게 줄였지만, 특정 조건에서는 여전히 5%를 초과하는 잔여 FPR이 존재했다.
• AFNI에 새로 구현된 두 가지 순열 기반 방법은 볼륨당 p ≤ 0.01일 때 FPR이 명목상 5% 수준에 매우 밀집되어 있음을 보여주어 높은 정확성을 입증했다.
• FPR 성능은 작업 범주와 볼륨당 p-값 임계치에 크게 의존하며, 이는 연구 설계 선택이 추론 신뢰도에 결정적인 영향을 미친다는 것을 시사한다.
• 결과는 군집 추론에 비모수적 순열 방법을 사용할 것을 지지하며, FMRI 군 분석에서 FPR 상승을 최소화하기 위한 실용적 지침을 제공한다.