[논문 리뷰] Which Findings from the Functional Neuromaging Literature Can We Trust?

Daniel Kessler, Mike Angstadt외 1명|arXiv (Cornell University)|2016. 08. 03.

Functional Brain Connectivity Studies참고 문헌 8인용 수 3

한 줄 요약

이 연구는 비모수적 순열 검정을 사용한 FDR 제어와 비교하여 RFT 기반의 가족 전체 유의수준(FWE) 보정된 p-값을 활용해 기능적 뇌영상 결과의 신뢰성을 평가한다. 엄격한 군집 정의 임계값(CDT = .001)의 경우 RFT-FWE p-값이 α = .05에서 FDR 제어를 잘 근사함을 발견하였으나, 관용적인 임계값(CDT = .01)의 경우 FDR 유의수준을 확보하기 위해 매우 작은 p-값(≤ .00001)이 필요함을 보여주며, 과거 fMRI 문헌을 해석하는 데에 정량적 지침을 제공한다.

ABSTRACT

In their recent "Cluster Failure" paper, Eklund and colleagues cast doubt on the accuracy of a widely used statistical test in functional neuroimaging. Here, we leverage nonparametric methods that control the false discovery rate to offer more nuanced, quantitative guidance about which findings in the existing literature can be trusted. We show that, in the task studies examined by Eklund et al., most clusters originally reported to be significant are indeed trustworthy by the false discovery rate benchmark.

연구 동기 및 목표

• RFT 기반 FWE 보정의 알려진 한계에도 불구하고, 과거 문헌에서 보고된 fMRI 결과 중 어느 것이 실제로 신뢰할 수 있는지에 대한 정량적이고 데이터 기반의 지침을 제공하기 위해.
• RFT-FWE p-값의 실용적 해석에 대한 격차를 메우기 위해, 비모수적 순열 방법을 활용한 더 견고한 FDR 기반 추론과 비교함으로써.
• 일반적으로 보고된 RFT-FWE 유의수준 군집이 FDR 제어 하에서도 여전히 유의미한지 평가함으로써, 거짓 양성 비율 측면에서 그 신뢰성의 정도를 점검하기 위해.
• RFT 기반 군집 수준 추론을 사용한 과거 fMRI 연구에 대해 연구자들이 비판적 사고를 기울일 수 있도록 기준점을 제공하기 위해.

제안 방법

• 저자들은 각 대조별 5,000회 실현을 기반으로 비모수적 부호 뒤집기 순열을 사용하여 군집 크기의 경험적 귀무분포를 생성한다.
• 각 군집에 대해, 동일하거나 더 큰 군집 크기를 갖는 순열의 비율을 기반으로 보정되지 않은 p-값을 계산한다.
• 보정되지 않은 p-값 벡터에 Benjamini-Hochberg FDR 절차를 적용하여 α = .05에서 거짓 발견 비율의 기대값을 제어한다.
• 군집 정의 임계값(CDT = .001 및 CDT = .01) 두 수준에서 별도로 분석하여 임계값 선택에 대한 민감도를 평가한다.
• 결과는 RFT-FWE p-값과 FDR 보정된 유의수준을 비교하여, FDR 제어 하에서도 여전히 유의미한 군집을 특정한다.
• 이 방법은 Eklund 등이 수행한 군집 실패 연구에서 사용된 동일한 오픈 액세스 fMRI 작업 데이터에 적용되어 일관성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 RFT 기반 FWE 보정으로 보고된 fMRI 결과 중에서 FDR 제어 기준으로 평가했을 때 어느 것이 신뢰할 수 있는가?
• RQ2 RFT-FWE 유의수준 군집의 신뢰성은 어떤 군집 정의 임계값(CDT)에 따라 어떻게 달라지는가?
• RQ3 실제 fMRI 데이터에서 RFT-FWE p-값이 효과적인 FDR 제어를 얼마나 잘 근사하는가?
• RQ4 비모수적 순열 방법이 과거 fMRI 결과의 신뢰성 평가를 위한 더 정확한 기준이 될 수 있는가?
• RQ5 관용적인 CDT 조건 하에서 α = .05에서 FDR 유의수준을 확보하기 위해 RFT-FWE p-값의 기준은 어느 정도여야 하는가?

주요 결과

• CDT = .001일 경우, RFT-FWE 기준으로 유의미한 군집 중에서 FDR 보정 기준으로도 유의미한 군집이 하나뿐이었으며, 이는 RFT-FWE와 FDR 제어 간의 강력한 일치를 시사한다.
• CDT = .01일 경우, FDR 보정 기준으로도 여전히 유의미한 군집은 RFT-FWE p-값 ≤ .00001인 군집에 국한되었으며, 이는 이 임계값에서 대부분의 RFT-FWE 유의 결과가 FDR 기준에서는 신뢰할 수 없다는 것을 의미한다.
• 결과는 CDT = .001일 경우 RFT-FWE 보정이 효과적인 FDR 제어를 합리적으로 근사함을 시사하며, 이 임계값을 사용한 대부분의 연구 결과에 대한 신뢰를 뒷받침한다.
• CDT = .01일 경우 RFT-FWE와 FDR 제어 간의 격차는 뚜렷하며, 이는 FDR 기준으로 평가했을 때 많은 보고된 결과가 거짓 양성일 수 있음을 시사한다.
• 이 연구는 RFT 기반 군집 수준 추론을 사용한 과거 fMRI 연구의 신뢰성 평가를 위한 정량적이고 데이터 기반의 기준을 제공한다.
• 연구 결과는 특히 관용적인 CDT를 사용한 연구의 경우 fMRI 결과를 신중하게 해석할 것과 함께, 군집 수준 추론의 방법론적 개선이 필요함을 강조한다.