[논문 리뷰] Learning the Graphical Structure of Electronic Health Records with Graph Convolutional Transformer

Edward Choi, Zhen Xu외 5명|arXiv (Cornell University)|2019. 06. 11.

Machine Learning in Healthcare참고 문헌 28인용 수 4

한 줄 요약

이 논문은 전자 건강 기록(EHR)의 숨겨진 그래픽 구조를 공동으로 학습하고, 구조 정보가 누락된 경우에도 감독 예측 작업을 수행할 수 있는 새로운 모델인 그래프 컨volution 트랜스포머(GCT)를 제안한다. 조건부 확률 사전 지식과 주의 막힘을 통해 자기주의 주의를 유도함으로써, GCT는 합성 및 실제 EHR 데이터에서 그래프 복원과 재입원 예측 모두에서 베이스라인 모델을 능가한다.

ABSTRACT

Effective modeling of electronic health records (EHR) is rapidly becoming an important topic in both academia and industry. A recent study showed that using the graphical structure underlying EHR data (e.g. relationship between diagnoses and treatments) improves the performance of prediction tasks such as heart failure prediction. However, EHR data do not always contain complete structure information. Moreover, when it comes to claims data, structure information is completely unavailable to begin with. Under such circumstances, can we still do better than just treating EHR data as a flat-structured bag-of-features? In this paper, we study the possibility of jointly learning the hidden structure of EHR while performing supervised prediction tasks on EHR data. Specifically, we discuss that Transformer is a suitable basis model to learn the hidden EHR structure, and propose Graph Convolutional Transformer, which uses data statistics to guide the structure learning process. The proposed model consistently outperformed previous approaches empirically, on both synthetic data and publicly available EHR data, for various prediction tasks such as graph reconstruction and readmission prediction, indicating that it can serve as an effective general-purpose representation learning algorithm for EHR data.

연구 동기 및 목표

• 완전한 구조 정보(예: 진단-치료 관계)가 제공되지 않을 경우 EHR 데이터로부터 효과적인 표현을 학습하는 데 도전하는 것.
• 자기주의 주의가 명시적 지도 없이도 의미 있는 EHR 그래픽 구조를 발견할 수 있도록 트랜스포머의 자기주의 주의를 유도할 수 있는지 조사하는 것.
• 구조 학습과 후행 예측 작업 수행을 동시에 수행하는 일반 목적의 표현 학습 프레임워크를 개발하는 것.
• 주의 막힘과 정규화를 통한 사전 지식 통합이 구조 학습 및 예측 성능 향상에 기여하는지 경험적으로 검증하는 것.

제안 방법

• 주의 막힘과 조건부 확률 기반 정규화를 통해 사전 지식을 자기주의 주의에 통합한 수정된 트랜스포머 아키텍처인 그래프 컨볼루션 트랜스포머(GCT)를 제안한다.
• 주의 학습을 유도하기 위해 조건부 확률 행렬 P를 사전 지식으로 사용하여, 주의 헤드가 EHR 특징 간의 타당한 관계에 집중하도록 한다.
• 사전 지식와 데이터 기반 주의 패tern 간의 균형을 맞추기 위해 주의 메커니즘에 정규화 및 학습 가능한 파라미터를 적용한다.
• 각 헤드가 사전 확률 행렬 P에서 파생된 막힘에 의해 제약을 받는 다중 헤드 자기주의 주의 메커니즘을 구현한다.
• 그래프 복원 및 진단-치료 분류와 같은 감독 작업을 사용하여 EHR 데이터에서 모델을 엔드 투 엔드로 훈련한다.
• KL 발산과 주의 시각화를 통해 모델의 주의가 참 인접 행렬을 얼마나 잘 근사하는지 평가한다.

실험 결과

연구 질문

• RQ1 명시적인 구조가 제공되지 않을 경우 트랜스포머 모델의 자기주의 주의가 의미 있는 EHR 그래픽 구조를 학습할 수 있는가?
• RQ2 주의 막힘과 조건부 확률 정규화를 통해 사전 지식을 통합함으로써 구조 학습 및 예측 성능 향상이 이루어지는가?
• RQ3 GCT는 합성 및 실제 EHR 데이터에서 표준 트랜스포머와 GCN 기반 모델에 비해 은닉된 EHR 구조를 얼마나 잘 학습하는가?
• RQ4 유도된 주의가 재입원 예측 및 그래프 복원과 같은 후행 작업 성능 향상에 어느 정도 기여하는가?

주요 결과

• GCT는 합성 및 실제 EHR 데이터에서 모두 그래프 복원 및 재입원 예측 작업에서 표준 트랜스포머 및 고정된 사전 지식을 가진 GCN을 포함한 베이스라인 모델을 능가했다.
• GCT는 예측된 인접 행렬과 참 인접 행렬 간의 평균 KL 발산(0.48)을 표준 트랜스포머(0.62)보다 낮게 기록하여 더 나은 구조 복원을 보였다.
• GCT는 초기 자기주의 주의 블록에서 참 구조와 밀접하게 일치하는 주의 분포를 학습했으며, 더 깊은 레이어로 갈수록 참 인접 행렬에 점점 더 적합하게 적응했다.
• 고정된 사전 지식을 가진 GCN(P)에 비해 그래프 복원 및 진단-치료 분류 작업에서 더 높은 성능을 보이며, 엔드 투 엔드 구조 학습의 이점을 입증했다.
• 주의 시각화 결과, GCT는 초기에는 사전 행렬 P에 의존했지만 점차 참 구조와 일치하는 방향으로 주의를 정교화했으며, 지도되지 않은 트랜스포머와는 대조적으로 유의미한 구조 탐색 능력을 보였다.
• 주의 맵이 참 구조와 완벽하게 일치하지 않더라도 GCT는 그래프 복원 작업에서 강력한 성능을 기록하여, 주의 메커니즘이 구조 탐색에서 뛰어난 내재적 강건성을 지닌다는 점을 입증했다.