[논문 리뷰] Autocorrelation bias still exists in fMRI results

Wiktor Olszowy, Guy Williams외 2명|arXiv (Cornell University)|2017. 11. 27.

Functional Brain Connectivity Studies참고 문헌 31인용 수 2

한 줄 요약

이 연구는 휴식 상태 및 작업 기반 스캔을 포함한 10개의 데이터셋을 바탕으로 주로 fMRI 소프트웨어 패키지 세 종류—AFNI, FSL, SPM—에서 시간적 자기상관 모델링을 평가한다. FSL과 SPM은 AFNI보다 더 높은 위양성률과 덜 효과적인 프리화이트닝을 보이며, 특히 긴 TR 스캔에서는 SPM이 음성 자기상관을 유도하고 FSL은 상당한 노이즈 자기상관을 제거하지 못함을 발견한다.

ABSTRACT

Given the recent trend towards validating the neuroimaging statistical methods, we compared the most popular functional magnetic resonance imaging (fMRI) analysis softwares: AFNI, FSL and SPM, with regard to temporal autocorrelation modelling. We used both resting state and task-based fMRI data, altogether 10 datasets containing 780 scans corresponding to different scanning sequences and different subject populations. In analyses of each fMRI scan we considered different assumed experimental designs, as well as different spatial smoothing levels and different detrending options. For data used as null data the use of FSL and SPM resulted in much higher false positive rates than the use of AFNI. On the other hand, due to SPM modelling temporal autocorrelation in the least flexible way, it can introduce negative autocorrelations during pre-whitening for scans with long repetition times. For one dataset we observed a big loss of sensitivity when SPM was used. Interestingly, because pre-whitening in FSL and SPM does not remove a substantial part of the temporal autocorrelation in the noise, we observed a relationship that the lower the assumed experimental design frequency, the more likely it was to observe significant activation. Though temporal autocorrelation modelling in AFNI was not perfect, its performance was much higher than the performance of temporal autocorrelation modelling in FSL and SPM. FSL and SPM could improve their autocorrelation modelling approaches for example adopting a noise model similar to the one used by AFNI.

연구 동기 및 목표

• AFNI, FSL, SPM에서 fMRI 분석의 시간적 자기상관 모델링 정확도를 평가하기 위해.
• 다양한 실험 설계, 스무딩 수준, 탈트렌딩 방법이 위양성률에 미치는 영향을 조사하기 위해.
• 반복 시간(TR)이 자기상관 모델링에 미치는 영향, 특히 SPM의 프리화이트닝 절차에서의 영향을 평가하기 위해.
• 동일한 데이터 조건에서 소프트웨어 도구 간 활성화 탐지의 민감도와 특이도를 비교하기 위해.
• 현재 fMRI 소프트웨어의 단점이 유의미한 제1종 오류율 증가 또는 통계적 검정력 감소로 이어질 수 있는지를 규명하기 위해.

제안 방법

• 다양한 시퀀스와 피실험자 그룹으로부터 확보한 10개의 fMRI 데이터셋(780개 스캔)을 사용해 AFNI, FSL, SPM을 비교하였다.
• 다양한 실험 설계, 공간 스무딩 수준, 탈트렌딩 옵션을 적용하여 소프트웨어의 강건성 평가를 수행하였다.
• 동일한 전처리 및 모델링 조건에서 소프트웨어 패키지 간 위양성률 평가를 위해 노이즈 데이터를 사용하였다.
• SPM과 FSL의 프리화이트닝 성능을 분석하여 잔류 또는 인위적으로 유도된 자기상관 여부를 확인하였다.
• 특히 SPM의 모델링이 가장 유연하지 못한 긴 TR 스캔에서 활성화 탐지의 민감도 손실을 평가하였다.
• 가정된 설계 주파수와 유의미도 수준 간의 관계를 정량화하였으며, 특히 FSL과 SPM에서의 영향을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 AFNI, FSL, SPM는 fMRI 데이터의 시간적 자기상관 모델링에서 어떻게 비교되는가?
• RQ2 반복 시간(TR)은 자기상관 모델링에 어떤 영향을 미치며, 특히 SPM의 프리화이트닝 과정에서 어떤 영향을 미치는가?
• RQ3 가정된 실험 설계 주파수가 FSL과 SPM에서의 위양성 탐지율에 어떤 영향을 미치는가?
• RQ4 FSL과 SPM의 프리화이트닝이 노이즈에서 잔류 시간 자기상관을 얼마나 효과적으로 제거하는가?
• RQ5 SPM은 한 데이터셋에서 민감도 손실이 심각하게 발생하는데, 이는 자기상관 모델링과 관련이 있는가?

주요 결과

• 노이즈 데이터를 사용한 결과, FSL과 SPM는 AFNI보다 유의미하게 높은 위양성률을 보였으며, 이는 제1종 오류 통제 능력이 열 劣한 것을 시사한다.
• 긴 반복 시간을 가진 스캔에서 SPM은 프리화이트닝 과정에서 음성 자기상관을 유도한 것으로 보이며, 이는 노이즈 구조를 유연하게 모델링하지 못하기 때문일 가능성이 높다.
• 낮은 가정된 실험 설계 주파수와 FSL 및 SPM에서의 유의미한 활성화 탐지 가능성 증가 사이에 강한 상관관계를 관찰하였다. 이는 시간 자기상관이 완전히 제거되지 않았기 때문이다.
• AFNI의 자기상관 모델링은 완벽하지 않지만, 통계적 타당성을 유지하고 위양성률를 낮추는 데 FSL 및 SPM보다 뛰어난 성능을 보였다.
• FSL과 SPM는 특히 낮은 설계 주파수 가정 조건에서 시간 자기상관의 상당 부분을 제거하지 못하였다.
• 이 연구는 FSL과 SPM가 AFNI의 모델과 유사한 노이즈 모델을 도입함으로써 자기상관 모델링을 개선할 수 있을 것으로 제안한다. 이 모델은 시간적 의존성을 더 잘 반영한다.