[논문 리뷰] Integrative Analysis of Patient Health Records and Neuroimages via Memory-based Graph Convolutional Network

Xi Sheryl Zhang, Jingyuan Chou외 1명|arXiv (Cornell University)|2018. 09. 17.

Machine Learning in Healthcare참고 문헌 52인용 수 6

한 줄 요약

이 논문은 파킨슨병 분류를 위해 종단적 전자건강기록(EHR)과 뇌 영상 데이터를 통합하는 메모리 기반 그래프 컬러션 네트워크인 MemGCN을 제안한다. EHR의 순차적 특성을 모델링하기 위해 메모리 네트워크를 활용하고 뇌 네트워크 그래프에서 특징을 추출하기 위해 GCN을 사용함으로써, MemGCN는 PPMI 데이터셋에서 뛰어난 분류 성능를 달성하여 임상 데이터 분석에서 다중모달 통합의 효과성을 입증한다.

ABSTRACT

With the arrival of the big data era, more and more data are becoming readily available in various real-world applications and those data are usually highly heterogeneous. Taking computational medicine as an example, we have both Electronic Health Records (EHR) and medical images for each patient. For complicated diseases such as Parkinson's and Alzheimer's, both EHR and neuroimaging information are very important for disease understanding because they contain complementary aspects of the disease. However, EHR and neuroimage are completely different. So far the existing research has been mainly focusing on one of them. In this paper, we proposed a framework, Memory-Based Graph Convolution Network (MemGCN), to perform integrative analysis with such multi-modal data. Specifically, GCN is used to extract useful information from the patients' neuroimages. The information contained in the patient EHRs before the acquisition of each brain image is captured by a memory network because of its sequential nature. The information contained in each brain image is combined with the information read out from the memory network to infer the disease state at the image acquisition timestamp. To further enhance the analytical power of MemGCN, we also designed a multi-hop strategy that allows multiple reading and updating on the memory can be performed at each iteration. We conduct experiments using the patient data from the Parkinson's Progression Markers Initiative (PPMI) with the task of classification of Parkinson's Disease (PD) cases versus controls. We demonstrate that superior classification performance can be achieved with our proposed framework, comparing with existing approaches involving a single type of data.

연구 동기 및 목표

• 이질적이고 다중모달 임상 데이터—특히 EHR와 뇌 영상—을 통합하여 질병 이해를 향상시키는 데 도전하는 것.
• 뇌 영상 촬영 이전의 종단적 임상 이력을 포착하는 메모리 네트워크를 사용해 EHR의 순차적 특성을 모델링하는 것.
• 그래프 컬러션 네트워크를 통해 추출한 공간적 뇌 네트워크 특징과 동적 EHR 표현을 융합하여 질병 분류 성능을 향상시키는 것.
• 다중 히프 어텐션 메커니즘을 통해 뇌 연결성과 임상 사건에 대한 질병 특이적 패턴을 드러내어 해석 가능성성을 향상시키는 것.
• 파킨슨병 환자와 대조군을 분류하는 데 있어 다중모달 통합이 단일모달 접근법보다 뛰어난 성능을 보임을 입증하는 것.

제안 방법

• 뇌 영상 데이터에서 관심영역(ROIs)을 사용해 환자별 뇌 네트워크를 구축하고, 이를 기반으로 그래프 컬러션 네트워크(GCN)를 적용해 특징을 추출한다.
• EHR에 담긴 순차적 임상 이력을 메모리 네트워크로 인코딩하여 시간에 따라 환자의 사건을 메모리 벡터로 저장한다.
• 메모리 네트워크에 다중 히프 읽기 및 업데이트 메커니즘을 적용하여 표현을 반복적으로 개선함으로써 맥락 이해를 향상시킨다.
• 메모리 네트워크에서 유도된 맥락 기반 EHR 표현과 GCN가 추출한 뇌영상 특징을 이중 매칭 또는 내적곱 레이어를 통해 융합한다.
• 쌍별 거리 최적화를 통한 메트릭 학습을 활용하여 파킨슨병 환자와 건강한 대조군 간의 분류 능력을 향상시킨다.
• 비정규적인 뇌 네트워크 구조에서 효율적이고 효과적인 특징 학습을 위해 ChebNet 기반 그래프 컬러션을 사용한다.

Figure 1: Memory-based Graph Convolutional Network for brain connectivity graphs with clinical records. For simplicity, we depict the clinical records via a sequence of vectors in the figure. In practice, each clinical sequence is corresponding to a neuroimage acquisition.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 이질적인 EHR와 뇌 영상 데이터를 효과적으로 융합하여 파킨슨병 분류 성능를 향상시킬 수 있는가?
• RQ2 다중 히프 메모리 메커니즘이 단일 읽기 메커니즘에 비해 종단적 임상 이벤트의 표현을 얼마나 더 정교하게 향상시키는가?
• RQ3 모델의 어텐션 메커니즘이 드러내는 바에 따르면, 파킨슨병 환자와 대조군 간의 뇌 연결성 및 임상 이벤트 패턴은 어떠한가?
• RQ4 MemGCN를 통한 다중모달 통합이 단일모달 모델(단지 EHR 또는 뇌 영상에 의존)보다 얼마나 뛰어난 성능을 보이는가?
• RQ5 모델 내부의 어텐션 및 매칭 레이어가 질병 진행 패턴에 대한 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• MemGCN는 EHR 또는 뇌 영상만을 사용하는 기존의 단일모달 접근법에 비해 PPMI 데이터셋에서 뛰어난 분류 성능를 기록한다.
• 다중 히프 메모리 메커니즘은 순차적 EHR 데이터의 표현 학습을 더 정교하고 맥락적으로 정확하게 개선하여 모델의 분류 능력을 향상시킨다.
• 모델의 어텐션 맵은 파킨슨병 환자가 대조군에 비해 메모리 위치와 특정 ROIs에서 더 좁고 집중된 어텐션 패턴을 보임을 드러낸다.
• 우측 퇴행성, 캐우다트, 시상체, 편도체(Desikan-Killiany 아틀라스 기준 76–79번 위치)와 같은 주요 ROIs는 질병 진행과 관련된 강력하고 일관된 활성화 패턴을 보인다.
• 이중 매칭 및 내적곱 레이어는 파킨슨병 환자와 대조군 간의 뇌 연결성 및 임상 이벤트 시기의 군집 수준의 차이를 강조하는 해석 가능한 표현을 생성한다.
• PPMI와 같은 작은 코hort 데이터셋에서도 뛰어난 성능를 보이며, 향후 아키텍처 개선을 통해 저자료 환경에서도 적용 가능할 잠재력을 보여준다.

Figure 2: Illustration of memory augmented graph convolution in a single hop (the $1$ -st hop). See Section II-C for the details.