[논문 리뷰] GRAM: Graph-based Attention Model for Healthcare Representation Learning

Edward Choi, Mohammad Taha Bahadori외 3명|arXiv (Cornell University)|2016. 11. 21.

Machine Learning in Healthcare참고 문헌 28인용 수 99

한 줄 요약

GRAM은 의료 온톨로지들을 그래프 기반 주의 메커니즘에 통합하여 EHR 데이터에 대한 강건하고 해석 가능한 leaf-code 표현을 형성하고, 데이터 희소성 하에서 예측 성능을 향상시킨다.

ABSTRACT

Deep learning methods exhibit promising performance for predictive modeling in healthcare, but two important challenges remain: -Data insufficiency:Often in healthcare predictive modeling, the sample size is insufficient for deep learning methods to achieve satisfactory results. -Interpretation:The representations learned by deep learning methods should align with medical knowledge. To address these challenges, we propose a GRaph-based Attention Model, GRAM that supplements electronic health records (EHR) with hierarchical information inherent to medical ontologies. Based on the data volume and the ontology structure, GRAM represents a medical concept as a combination of its ancestors in the ontology via an attention mechanism. We compared predictive performance (i.e. accuracy, data needs, interpretability) of GRAM to various methods including the recurrent neural network (RNN) in two sequential diagnoses prediction tasks and one heart failure prediction task. Compared to the basic RNN, GRAM achieved 10% higher accuracy for predicting diseases rarely observed in the training data and 3% improved area under the ROC curve for predicting heart failure using an order of magnitude less training data. Additionally, unlike other methods, the medical concept representations learned by GRAM are well aligned with the medical ontology. Finally, GRAM exhibits intuitive attention behaviors by adaptively generalizing to higher level concepts when facing data insufficiency at the lower level concepts.

연구 동기 및 목표

• 데이터 부족 상태에서의 헬스케어 예측을 위한 딥러닝의 동기를 제시하고 의학 지식에 맞춘 해석가능한 표현의 필요성에 대응한다.
• 계층적 의학 온톨로지를 활용하여 leaf 의학 개념 표현을 풍부하게 한다.
• 데이터 기반의 호환성 점수에 따라 leaf 개념과 조상을 결합하는 엔드 투 엔드 학습 가능한 어텐션 메커니즘을 개발한다.

제안 방법

• 어텐션 메커니즘을 사용하여 leaf 의료 코드들을 자신의 임베딩과 조상의 임베딩들의 볼록조합으로 표현한다.
• 조상에 대한 어텐션 가중치를 계산하기 위해 1-히든레이어 MLP를 통해 호환성 함수 f(ei, ej)를 정의한다.
• 질병 발현 예측 작업을 위해 예측 신경망(RNN/GRU/GRU 변형)과 함께 어텐션 모듈을 엔드투엔드로 학습한다.
• 조상을 포함하는 보강된 방문 정보를 바탕으로 GloVe 유래의 동시발생 임베딩을 사용하여 leaf 및 비리프(non-leaf) 노드의 기본 임베딩을 초기화한다.
• leaf-ancestor 임베딩 행렬에 다중-핫 방문 벡터를 곱하여 방문을 임베딩하고 이를 RNN에 입력하여 예측한다.
• GRAM 변형들을 순차적 진단 예측 및 심부전 발현 작업에서 RNN 기본 모델 및 제거 실험과 비교한다.

실험 결과

연구 질문

• RQ1 GRAM이 학습 데이터에서 희귀한 질병의 예측 정확도를 표준 RNN보다 향상시킬 수 있는가?
• RQ2 온톨로지 기반의 leaf 표현이 의학 지식과 일치하며 어텐션 패턴을 통해 해석 가능한가?
• RQ3 데이터 가용성 변화 및 다양한 의료 데이터 세트(Sutter PAMF, MIMIC-III, Sutter HF 코호트)에서 GRAM의 성능은 어떠한가?
• RQ4 온톨로지 인지 동시발생(GloVe)을 사용한 leaf/non-leaf 임베딩 초기화가 다운스트림 작업에 미치는 영향은 무엇인가?

주요 결과

• GRAM은 희귀 질병에 대해 기본 RNN보다 최대 10% 높은 정확도를 달성한다.
• GRAM은 적은 학습 데이터로 심부전 예측에서 AUC를 최대 3% 향상시킨다.
• 온톨로지 정보 기반의 leaf 표현은 의학 지식과 일치하며 해석 가능한 어텐션을 보이며 데이터가 희소할 때 조상을 더 가중하여 데이터 가용성에 적응한다.
• 온톨로지 인지 동시발생(GRAM+)으로 기본 임베딩을 초기화하면 순차 진단 예측에서 특히 비슷하거나 개선된 성능을 보인다.
• GRAM은 에폭당 시간 약 50% 증가의 학습 오버헤드를 더하지만 데이터 희소성 하에서 더 나은 성능을 제공합니다.