[논문 리뷰] Deep learning of fMRI big data: a novel approach to subject-transfer decoding

Sotetsu Koyamada, Yumi Shikauchi외 3명|arXiv (Cornell University)|2015. 01. 31.

Functional Brain Connectivity Studies참고 문헌 6인용 수 54

한 줄 요약

이 논문은 인간 연결도 프로젝트(Human Connectome Project)의 대규모 데이터셋(500명 이상의 피실험자)에서 학습된 딥 뉴럴 네트워크(DNN) 기반의 주제 이동 디코더를 제안하며, SVM 및 로지스틱 회귀 기준선보다 높은 디코딩 정확도를 달성한다. 이 방법은 주제에 의존하지 않는 비선형 특징을 주요 민감도 분석(PSA)을 통해 성공적으로 포착하여 기능적 연결망과 관련된 특징적인 뇌 영역을 드러낸다.

ABSTRACT

As a technology to read brain states from measurable brain activities, brain decoding are widely applied in industries and medical sciences. In spite of high demands in these applications for a universal decoder that can be applied to all individuals simultaneously, large variation in brain activities across individuals has limited the scope of many studies to the development of individual-specific decoders. In this study, we used deep neural network (DNN), a nonlinear hierarchical model, to construct a subject-transfer decoder. Our decoder is the first successful DNN-based subject-transfer decoder. When applied to a large-scale functional magnetic resonance imaging (fMRI) database, our DNN-based decoder achieved higher decoding accuracy than other baseline methods, including support vector machine (SVM). In order to analyze the knowledge acquired by this decoder, we applied principal sensitivity analysis (PSA) to the decoder and visualized the discriminative features that are common to all subjects in the dataset. Our PSA successfully visualized the subject-independent features contributing to the subject-transferability of the trained decoder.

연구 동기 및 목표

• 개개인에게 일반화 가능한 보편적인 뇌 디코더를 개발하여 주제별로 특화된 디코더의 한계를 극복한다.
• 대규모 fMRI 데이터에서 딥 러닝을 활용하여 복잡한 비선형성과 주제에 의존하지 않는 특징을 추출함으로써 디코딩 성능을 향상시킨다.
• 주요 민감도 분석(PSA)을 통해 다양한 주제 간 공통되는 특징적인 뇌 영역을 식별하고 시각화한다.
• 학습 데이터 크기가 증가할수록 디코더 성능이 단조롭게 향상됨을 보여주어 보편적인 특징을 효과적으로 학습하고 있음을 입증한다.

제안 방법

• Human Connectome Project(HCP S500 릴리스)의 499명의 피실험자로부터의 작업 자극 fMRI 데이터를 기반으로 딥 뉴럴 네트워크(DNN)를 학습하였으며, 레이블로 7개의 인지적 작업 범주를 사용하였다.
• 다중층 비선형 DNN 아키텍처를 활용하여 다양한 주제 간 fMRI 활동 패턴의 복잡하고 계층적인 표현을 모델링하였다.
• 각 클래스에 대해 가장 영향력 있는 뇌 영역(ROIs)을 식별하고 시각화하기 위해 주요 민감도 분석(PSA)을 사용하였다. 각 클래스별 주요 민감도 맵(PSM)을 계산하였다.
• 입력 특징을 변형하고 출력 변화를 측정함으로써 PSM을 계산하였으며, 평균으로부터 최소 한 표준편차 이상의 값을 가지는 영역에 집중하였다.
• 코사인 유사도를 사용하여 PSM 간 유사성을 평가하고, 계층적 클러스터링을 적용하여 클래스별 특징 간 구조적 관계를 파악하였다.
• 주제에 의존하지 않는 테스트 세트에서 5겹 교차 검증을 통해 DNN의 성능을 SVM 및 로지스틱 회귀 기준선과 비교하였다.

실험 결과

연구 질문

• RQ1 대규모이고 이질적인 fMRI 데이터에서 학습된 딥 뉴럴 네트워크가 개인 간 일반화되어 고정확도의 디코딩을 달성할 수 있는가?
• RQ2 다양한 개인 간 작업 범주를 디코딩하는 데 있어 가장 중요한 주제에 의존하지 않는 뇌 특징은 무엇인가?
• RQ3 DNN 기반 디코더의 성능은 증가하는 학습 데이터 크기에 따라 어떻게 변화하는가?
• RQ4 PSA로 식별된 특징적인 뇌 영역이 알려진 기능적 연결망과 얼마나 일치하는가?

주요 결과

• DNN 기반의 주제 이동 디코더는 새로운 주제에서 독립적인 테스트 데이터에서 SVM 및 로지스틱 회귀 기준선보다 유의미하게 높은 디코딩 정확도를 달성하였다.
• 학습 주제 수가 증가할수록 디코딩 정확도가 단조롭게 향상되어 보편적이고 주제에 의존하지 않는 특징을 효과적으로 학습하고 있음을 시사한다.
• 주요 민감도 분석(PSA)은 특히 전두엽-편측망과 기본 모드망에 위치한 특징적인 뇌 영역을 성공적으로 식별하였으며, 이는 다양한 주제에서 일관되게 중요한 역할을 하였다.
• PSM은 가장 영향력 있는 뇌 영역과 알려진 기능적 연결망 간에 비트리거적인 연관성을 드러내었으며, 예를 들어 후두부 주의망과 기본 모드망이 포함되었다.
• PSM의 코사인 유사도 분석을 통해 클래스별 특징 간 구조적 관계를 확인하였고, 계층적 클러스터링을 통해 작업 범주의 기능적 군집을 파악하였다.
• 결과적으로, 개인 간 공통되는 기능적 연결 패턴이 DNN 기반 디코더의 일반화 능력의 기반이 되고 있음을 시사한다.