[논문 리뷰] Task state decoding and mapping of individual four-dimensional fMRI time series using deep neural network

Xiaoxiao Wang, Liang Xiao외 7명|arXiv (Cornell University)|2018. 01. 30.

Functional Brain Connectivity Studies인용 수 6

한 줄 요약

이 연구는 원시 4D fMRI 시간 시리즈에서 작업 상태를 직접 분류하는 딥 뉴럴 네트워크(DNN)를 제안하며, 공간적 및 시간적 동역학을 유지한다. DNN은 한 명의 피실험자당 한 블록씩의 데이터로 일곱 가지 작업 상태를 식별하는 데 91.75%의 정확도를 달성했으며, 가이드드 백프로파게이션을 통해 생성된 작업 히트맵은 전통적인 군 수준의 대비 맵과 밀도 높은 유사성을 보였고, 이는 소규모 데이터셋에서도 전이 학습을 통해 95%의 정확도를 기록한 강력한 성능을 보여주었다.

ABSTRACT

Decoding specific task states from human fMRI (functional magnetic resonance imaging) signals constitutes a major goal of neuroimaging. Previous studies of task-state classification have focused largely on processed fMRI characteristics (e.g. functional connectivity patterns, activity patterns) or a single fMRI volume. Here, we assembled a novel deep neural network (DNN) for classifying directly from 4-D fMRI time series, retaining both spatial and temporal information of fMRI signals. We trained and tested the DNN classifier by task fMRI data from human connectome project (HCP) S1200 dataset. Reading just a single block of fMRI time series of each task for each individual, the novel classification method identified the seven tasks with 91.75% accuracy in test. Then we extracted task heatmaps of each time series by a guided backpropagation approach, and found that the heatmaps had a high similarity with the group average result of traditional contrast of parameter estimate (COPE). Furthermore, the DNN could be applied to small dataset. The features from the intermediate layer of the DNN were trained and used to train a support vector machine (SVM) to classify four conditions within 300 blocks of task-fMRI scans, data amount comparable to a usual neuroimaging research, and obtained a 95% accuracy. Our reported findings were the first to demonstrate the ability of DNN to classify and extract heatmaps from a 4-D fMRI time series, as well as its ability to be transfer trained by a small dataset. This approach should enable decoding and mapping subject's task status and furthermore help with classification and diagnosis of neuropsychiatric diseases.

연구 동기 및 목표

• 원시 4D fMRI 시간 시리즈에서 사전 처리 없이 직접 작업 상태를 디코딩하는 방법을 개발하기 위해.
• 분류 과정에서 fMRI 신호의 공간적 및 시간적 정보를 모두 유지하기 위해.
• 신경영상 연구에서 흔한 소규모 fMRI 데이터셋에서 딥 러닝의 성능을 평가하기 위해.
• 가이드드 백프로파게이션을 이용해 해석 가능한 작업 특이 뇌 활성화 맵을 생성하기 위해.
• 소규모 표본 분류를 위한 중간 DNN 레이어에서 추출한 특징을 이용한 전이 학습의 가능성을 평가하기 위해.

제안 방법

• 딥 뉴럴 네트워크(DNN)는 인간 연결도 프로젝트(HCP) S1200 데이터셋의 원시 데이터를 사용하여 4D fMRI 시간 시리즈에서 끝에서 끝까지 훈련되었으며, 사전 처리 없이 수행되었다.
• DNN는 개인당 한 번의 블록씩의 fMRI 데이터만을 사용하여 일곱 가지 다른 작업 상태를 분류했다.
• 가상의 해석 가능성 확보를 위해 훈련된 DNN에 가이드드 백프로파게이션을 적용하여 작업 특이 활성화 히트맵을 생성했다.
• DNN의 중간 완전 연결 레이어에서 추출한 특징을 사용하여 지지 벡터 머신(SVM)을 훈련하여 전이 학습을 수행했다.
• 연구는 일반적인 신경영상 연구 크기와 유사한 300개의 fMRI 블록으로 구성된 소규모 데이터셋에서 평가되었다.
• 생성된 히트맵의 해석 가능성 검증을 위해 전통적인 군 수준의 대비 맵(COPE)과 성능을 비교했다.

실험 결과

연구 질문

• RQ1 사전 처리되지 않은 4D fMRI 시간 시리즈에서 딥 뉴럴 네트워크가 작업 상태를 정확하게 분류할 수 있는가?
• RQ2 DNN에서 가이드드 백프로파게이션을 통해 생성된 활성화 패턴이 기존의 전통적 fMRI 분석에서 도출된 군 수준의 활성화 맵과 일치하는가?
• RQ3 일반적인 신경영상 연구 크기와 유사한 소규모 fMRI 데이터셋에서 DNN이 높은 분류 정확도를 달성할 수 있는가?
• RQ4 중간 DNN 레이어에서 추출한 특징 표현이 제한된 데이터로 후속 분류 작업에 전이 가능한가?
• RQ5 DNN 모델을 사용하여 개인의 작업 상태를 높은 공간적·시간적 정밀도로 디코딩하고 맵핑할 수 있는가?

주요 결과

• DNN는 개인당 한 블록씩의 fMRI 데이터만을 사용하여 일곱 가지 다른 작업 상태를 식별하는 데 테스트 정확도 91.75%를 달성했다.
• 가이드드 백프로파게이션을 통해 생성된 작업 히트맵은 군 수준의 대비 맵(COPE)과 높은 유사성을 보였으며, DNN 예측의 해석 가능성에 대한 유효성을 입증했다.
• 중간 DNN 레이어에서 추출한 특징을 사용하여 SVM을 훈련한 결과, 300개의 fMRI 블록에서 네 가지 조건을 분류하는 데 95%의 정확도를 기록했다.
• 이 방법은 소규모 데이터셋에서도 뛰어난 성능를 보였으며, 저데이터 환경에서의 전이 학습 잠재력이 높다는 것을 시사했다.
• DNN는 원시 fMRI 신호의 공간적 및 시간적 구조를 성공적으로 유지하여 사전 처리 없이 직접 디코딩이 가능했다.
• 본 연구 결과는 딥 러닝을 활용한 엔드 투 엔드 4D fMRI 시간 시리즈 분류와 함께 해석 가능한 히트맵 생성을 처음으로 실현한 사례이다.