[논문 리뷰] Mapping individual differences in cortical architecture using multi-view representation learning

Akrem Sellami, François-Xavier Dupé외 5명|arXiv (Cornell University)|2020. 04. 01.

Functional Brain Connectivity Studies참고 문헌 34인용 수 8

한 줄 요약

이 논문은 작업 fMRI(활성 기반)와 휴식 상태 fMRI(연결성 기반) 데이터를 융합하여 개별 뇌 기능의 차이를 더 잘 예측할 수 있는 공통 잠재 표현으로 변환하는 다중 시각 딥 오토인코더를 제안한다. 이 방법은 단일 모odal 모델보다 우수한 성능을 보이며, R² = 0.294(MSE = 0.050)를 달성하고, 음성 처리와 관련된 알려진 기능적 네트워크와 일치하는 생물학적으로 타당하고 해석 가능한 뇌 지ap을 생성한다.

ABSTRACT

In neuroscience, understanding inter-individual differences has recently emerged as a major challenge, for which functional magnetic resonance imaging (fMRI) has proven invaluable. For this, neuroscientists rely on basic methods such as univariate linear correlations between single brain features and a score that quantifies either the severity of a disease or the subject's performance in a cognitive task. However, to this date, task-fMRI and resting-state fMRI have been exploited separately for this question, because of the lack of methods to effectively combine them. In this paper, we introduce a novel machine learning method which allows combining the activation-and connectivity-based information respectively measured through these two fMRI protocols to identify markers of individual differences in the functional organization of the brain. It combines a multi-view deep autoencoder which is designed to fuse the two fMRI modalities into a joint representation space within which a predictive model is trained to guess a scalar score that characterizes the patient. Our experimental results demonstrate the ability of the proposed method to outperform competitive approaches and to produce interpretable and biologically plausible results.

연구 동기 및 목표

• 뇌 기능의 개인별 차이를 모델링하기 위해 활성 기반의 작업 fMRI와 연결성 기반의 휴식 상태 fMRI 데이터를 융합하는 데 도전하는 것.
• 이질적인 fMRI 모달리티를 공동 표현 공간에 융합하여 예측 모델링 성능을 향상시키는 기계학습 프레임워크를 개발하는 것.
• 모델 예측을 알려진 기능적 뇌 네트워크와 연결하여 설명 가능하고 신경과학적으로 의미 있는 결과를 도출하는 것.
• 인지 성능과 관련된 행동 점수를 예측하는 데서 다중 모달 융합이 단일 모달 접근보다 우수한 성능을 보임을 입증하는 것.

제안 방법

• 작업 fMRI와 휴식 상태 fMRI 입력으로부터 공통 잠재 표현을 학습하기 위해 다중 시각 딥 오토인코더(MDAE)가 사용되며, 이는 둘의 볼트넥 레이어를 연결하여 구현된다.
• MDAE는 인코더와 디코더에서 서로 다른 활성화 함수(ReLU, sigmoid, linear)를 사용하여 fMRI 모달리티 간의 비선형 관계를 모델링한다.
• 융합된 잠재 공간에서 추적 회귀 모델이 학습되어, 인지 작업 성능나 질병 심각도와 같은 스칼라 행동 점수를 예측한다.
• 모델은 활성 패턴과 연결성 패턴에서 유래한 상보적 정보를 유지하는 공동 표현 공간을 사용한다.
• 모델은 추적 회귀 계수를 통해 회귀 계수를 뇌 영역으로 다시 매핑함으로써 설명 가능성을 확보한다.
• 공개 데이터셋을 활용하여 음성 인식에 대한 평가를 수행하였으며, 모달리티 기여도 평가를 위한 아블레이션 연구도 실시하였다.

실험 결과

연구 질문

• RQ1 다중 시각 딥 오토인코더는 작업 fMRI와 휴식 상태 fMRI 데이터를 개인별 차이를 모델링하는 데 효과적으로 활용할 수 있는 정보가 풍부한 공통 잠재 표현으로 융합할 수 있는가?
• RQ2 활성 기반 및 연결성 기반 fMRI 특징을 융합하면 단일 모달 모델 대비 행동 점수 예측 정확도가 향상되는가?
• RQ3 결과로 도출된 예측 모델은 설명 가능하며 알려진 신경과학적 발견과 일치하는가?
• RQ4 작업 fMRI와 휴식 상태 fMRI가 최종 예측 성능에 기여하는 상대적 기여도는 어떠한가?
• RQ5 융합된 표현은 작은 의미 있는 뇌 네트워크 효과를 탐지하는 데 통계적 검정력을 향상시킬 수 있는가?

주요 결과

• 볼트넥 레이어를 연결한 다중 시각 오토인코더는 입력을 연결한 모델보다 우수한 성능을 보이며, 최저 평균 제곱 오차(MSE) 0.050, R² 0.294를 달성했다.
• 예측 성능이 가장 높은 경우는 작업 fMRI에서 더 많은 특징(10개 중 8개)을 추출한 경우였으며, 이는 작업 fMRI가 예측에 더 큰 기여를 한다는 것을 시사한다.
• MDAE(relu, sigmoid) 아키텍처와 10차원 잠재 공간을 사용한 모델이 가장 안정적인 결과를 보였으며, R²는 0.294 ± 0.0048로 안정적이었다.
• 융합 표현에서 유도된 추적 회귀 가중치 지도는 양측 상부 후경곡선과 전경곡선/하부 전두엽 피각에서 유의미하고 광범위한 군집을 보였으며, 이는 알려진 음성 처리 네트워크와 일치했다.
• 이전에는 작은 표본으로서 식별하기 어려웠던 전두엽 영역을 모델이 탐지함으로써, 융합 표현이 통계적 검정력 향상에 기여할 수 있음을 보여주었다.
• 결과의 신경과학적 해석은 청각 처리에 관한 기존 문헌과 강한 정성적 일치를 보였으며, 이는 제안된 방법의 생물학적 타당성을 검증한다.