[논문 리뷰] FMRI Clustering and False Positive Rates

Robert W. Cox, Gang Chen외 3명|arXiv (Cornell University)|2017. 02. 16.

Functional Brain Connectivity Studies참고 문헌 2인용 수 10

한 줄 요약

이 논문은 Eklund 등(2016)의 시뮬레이션을 재평가함으로써 fMRI 클러스터링 방법에서 과도하게 높아보이는 위양성률(FPR)에 대한 우려를 도전한다. AFNI의 3dClustSim 버그가 FPR에 미친 영향은 미미하며, 비모수적 랜덤화 방법은 명목상 FPR을 유지함을 보이며, FPR 상승은 종종 미미하고 맥락에 따라 달라지며, 특히 더 엄격한 임계값과 이벤트 기반 설계에서 그러하다.

ABSTRACT

Recently, Eklund et al. (2016) analyzed clustering methods in standard FMRI packages: AFNI (which we maintain), FSL, and SPM [1]. They claimed: 1) false positive rates (FPRs) in traditional approaches are greatly inflated, questioning the validity of "countless published fMRI studies"; 2) nonparametric methods produce valid, but slightly conservative, FPRs; 3) a common flawed assumption is that the spatial autocorrelation function (ACF) of FMRI noise is Gaussian-shaped; and 4) a 15-year-old bug in AFNI's 3dClustSim significantly contributed to producing "particularly high" FPRs compared to other software. We repeated simulations from [1] (Beijing-Zang data [2], see [3]), and comment on each point briefly.

연구 동기 및 목표

• 모수적 fMRI 클러스터링 방법이 특히 AFNI에서 경고할 만큼 높은 위양성률(FPR)을 유발한다는 주장의 타당성을 재평가하는 것.
• AFNI의 3dClustSim에서 15년 전의 버그가 FPR 추정에 미치는 영향을 조사하는 것.
• fMRI 노이즈에서 공간 자기상관함수(ACF)에 대해 정규분포 형태를 가정할 경우 FPR에 어떤 영향을 미치는지 평가하는 것.
• 복잡한 모델에서 명목상 FPR을 유지하는 데 비모수적 랜덤화 방법의 성능을 테스트하는 것.
• 최대값이 아닌 중앙값과 백분위수 범위에 초점을 맞춰 FPR 상승에 대해 더 균형 잡힌 해석을 제공하는 것.

제안 방법

• Eklund 등(2016)의 시뮬레이션을 베이징-장 fMRI 데이터셋을 사용하여 AFNI, FSL, SPM 간의 FPR을 비교하기 위해 재실행함.
• '버그 있는' 버전과 '수정된' 버전의 AFNI 3dClustSim을 비교하여 버그의 영향을 정량화함.
• 잔차에서 heavier tail을 가진 실증적 '혼합 ACF'를 구성하여 비정규분포 노이즈의 스무딩이 어떤 영향을 미치는지 평가함.
• AFNI의 3dttest++에 공간 모델에 의존하지 않는 비모수적 랜덤화 방법을 구현하여 모수적 가정 없이 FPR을 추정함.
• 다양한 실험 설계에서 FPR 성능을 평가하기 위해 각 볼륨당 p-값 0.01과 0.001을 사용함.
• 블록 설계와 이벤트 기반 설계 간의 FPR을 분석하여 시간 주파수의 영향이 공간 스무딩에 어떤 영향을 미치는지 평가함.

실험 결과

연구 질문

• RQ1 AFNI의 3dClustSim에서 15년 전의 버그가 fMRI 클러스터링에서 FPR을 과도하게 높이는 데 얼마나 기여하는가?
• RQ2 fMRI 노이즈에서 공간 자기상관함수(ACF)에 대해 정규분포 형태를 가정할 경우 FPR 추정에 어떤 영향을 미치는가?
• RQ3 비모수적 랜덤화 방법은 다양한 fMRI 분석 모델에서 명목상 FPR을 유지할 수 있는가?
• RQ4 동일한 시뮬레이션 프레임워크와 실험 조건에서 AFNI, FSL, SPM 간의 FPR은 어떻게 다를까?
• RQ5 기본 fMRI 소프트웨어에서의 FPR 상승의 진정한 규모는 무엇이며, 모든 조건에서 균일하게 심각한가?

주요 결과

• AFNI의 3dClustSim 버그는 영향이 미미하여, p=0.01일 때 FPR을 ≤3–5% 증가시키며, p=0.001일 때는 ≤1–2% 증가시킴.
• AFNI, FSL-OLS, SPM의 FPR은 유사하게 나타나 p=0.01일 때 20–40%, p=0.001일 때 5–15%로 범위를 이탈하며, AFNI가 '특히 높은' FPR을 가진다는 주장에 반박함.
• 더 무거운 尾을 가진 실증적 '혼합 ACF'를 사용하면 FPR이 감소함을 확인하여, 비정규분포 노이즈 스무딩이 클러스터링 결과에 상당한 영향을 미침을 시사함.
• 3dttest++에 구현된 비모수적 랜덤화 방법은 명목상 신뢰구간 내에서 FPR을 유지함을 보이며, 이는 클러스터 추론에 대한 타당성을 뒷받침함.
• FPR 상승은 종종 ≤10% (베이징) 또는 ≤5% (캠브리지)에 머무르며, 특히 더 엄격한 볼륨당 p-값과 이벤트 기반 설계에서 그러함을 확인하여 최대 70%의 FPR이라는 주장에 도전함.
• 비모수적 방법에서 관찰된 최대 FPR은 40%였으며, 이는 모수적 방법의 FPR이 황금 표준인 비모수적 방법과 상당히 유사하다는 것을 시사함.