[논문 리뷰] Predicting Language Recovery after Stroke with Convolutional Networks on Stitched MRI

Yusuf Roohani, Noor Sajid외 3명|arXiv (Cornell University)|2018. 11. 26.

Acute Ischemic Stroke Management참고 문헌 13인용 수 3

한 줄 요약

이 논문은 원시 MRI 스캔의 스티치 처리된 2차원 횡단면을 2차원 합성곱 신경망(CNN)에 입력하여 뇌졸중 후 언어 회복을 예측하는 새로운 딥러닝 접근법을 제안한다. 이 방법은 전문가가 주석 처리한 병변 정보를 사용하는 모델들과 비교해 유사한 성능을 달성하며, 병변 데이터와 상보적인 뇌 기능 특징을 학습한다. 시각화된 중요도 맵(saliency maps)는 알려진 언어 네트워크와 일치하는 영역에서 활성화됨을 확인한다.

ABSTRACT

One third of stroke survivors have language difficulties. Emerging evidence suggests that their likelihood of recovery depends mainly on the damage to language centers. Thus previous research for predicting language recovery post-stroke has focused on identifying damaged regions of the brain. In this paper, we introduce a novel method where we only make use of stitched 2-dimensional cross-sections of raw MRI scans in a deep convolutional neural network setup to predict language recovery post-stroke. Our results show: a) the proposed model that only uses MRI scans has comparable performance to models that are dependent on lesion specific information; b) the features learned by our model are complementary to the lesion specific information and the combination of both appear to outperform previously reported results in similar settings. We further analyse the CNN model for understanding regions in brain that are responsible for arriving at these predictions using gradient based saliency maps. Our findings are in line with previous lesion studies.

연구 동기 및 목표

• 전문가가 주석 처리한 병변 정보에 의존하지 않고 원시 MRI 스캔 데이터만을 사용하여 뇌졸중 후 언어 회복을 예측하는 딥러닝 방법을 개발하는 것.
• 스티치 처리된 2차원 MRI 단면에서 추출한 원시 영상 특징이 병변 특화 특징을 사용하는 모델의 성능을 동등하거나 초월할 수 있는지 평가하는 것.
• 기울기 기반 중요도 맵을 사용하여 모델의 예측을 해석하고, 그 결과가 알려진 언어 신경해부학과 일치하는지 검증하는 것.
• CNN가 학습한 특징과 수동으로 추출한 백질/회색질 특징 간의 상관관계를 분석하여 표현 품질을 평가하는 것.

제안 방법

• 3D MRI 스캔의 축방향 횡단면을 해부학적 순서에 따라 연결하여 스티치 처리된 2차원 MRI 단면을 생성하며, 환자 간 공간적 대응 관계를 유지한다.
• 이 스티치 처리된 영상에 대해 계층적 특징을 추출할 수 있도록 2차원 합성곱 신경망을 훈련하며, 사전 병변 분할이 필요하지 않다.
• 64차원의 CNN 임bedded 특징과 인구통계학적 데이터를 사용하여 예측된 언어 회복 결과(CAT 말하기 그림 기술 점수)를 회귀하는 별도의 전방향 신경망을 구축한다.
• 기울기 기반 중요도 맵을 생성하여 예측에 가장 영향을 미치는 뇌 영역을 시각화하며, 결과는 3차원 해부학적 평면에 표현된다.
• CNN가 학습한 특징과 수동으로 분할한 백질/회색질 특징 간의 거리 상관계수를 계산하여 표현 유사도를 평가한다.
• 모델는 PLORAS 데이터셋을 사용하여 훈련 및 평가되며, 이전의 병변 기반 접근법과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 스티치 처리된 2차원 MRI 단면을 기반으로 훈련된 딥 컨볼루션 신경망이 전문가가 주석 처리한 병변 정보를 사용하는 모델들과 유사한 성능으로 뇌졸중 후 언어 회복을 예측할 수 있는가?
• RQ2 CNN가 학습한 특징가 병변 특화 특징과 상보적인가? 즉, 두 특징의 조합이 예측 정확도 향상에 기여하는가?
• RQ3 모델가 생성한 중요도 맵이 언어 처리에 관여하는 것으로 알려진 뇌 영역(예: 오른쪽 전두엽 피질)을 잘 강조하는가?
• RQ4 CNN가 학습한 특징이 수동으로 추출한 백질 및 회색질 특징과 표현 품질 측면에서 얼마나 높은 상관관계를 가지는가?

주요 결과

• 이상적인 이미지 및 인구통계학적 특징을 조합했을 때 모델은 R² = 0.75, 피어슨 상관계수 r = 0.78를 기록하여 이전 최고 성능 모델보다 뛰어난 성능을 보였다.
• 전체적으로 원시 MRI 데이터만을 사용한 모델의 성능(R² = 0.56, 피어슨 r = 0.60)은 전문가가 주석 처리한 병변 정보에 의존하는 모델(R² = 0.50, 피어슨 r = 0.50)과 유사한 성능를 보였다.
• 중요도 맵은 이전 신경영상 연구에서 언어 회복과 관련이 있다고 알려진 오른쪽 전두엽 영역에서 뚜렷한 활성화를 보였으며, 이는 모델의 생물학적 타당성을 뒷받침한다.
• CNN가 학습한 특징과 수동으로 분할한 백질/회색질 특징 간의 거리 상관계수는 0.7970으로 나타나 강한 표현 유사도를 보였다.
• CNN 기반 영상 특징과 병변 특징 정보를 조합한 결과는 각각의 모odalities만 사용했을 때보다 높은 성능를 보였으며, 이는 두 특징 간의 상보성(complementarity)을 입증한다.