[논문 리뷰] Representation Learning for Electronic Health Records

Wei‐Hung Weng, Peter Szolovits|arXiv (Cornell University)|2019. 09. 19.

Machine Learning in Healthcare참고 문헌 137인용 수 18

한 줄 요약

이 논문은 전자적 건강 기록(EHR)을 위한 표현 학습 기법에 대한 종합적인 리뷰를 제시하며, 복잡한 이질적인 EHR 자료에서 숨겨진 요인을 분리하고 지식을 정제하는 딥러닝 기반 방법을 강조한다. 이는 진단, 위험 예측, 표현형 분류와 같은 후행 임상 과제에서 성능을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Information in electronic health records (EHR), such as clinical narratives, examination reports, lab measurements, demographics, and other patient encounter entries, can be transformed into appropriate data representations that can be used for downstream clinical machine learning tasks using representation learning. Learning better representations is critical to improve the performance of downstream tasks. Due to the advances in machine learning, we now can learn better and meaningful representations from EHR through disentangling the underlying factors inside data and distilling large amounts of information and knowledge from heterogeneous EHR sources. In this chapter, we first introduce the background of learning representations and reasons why we need good EHR representations in machine learning for medicine and healthcare in Section 1. Next, we explain the commonly-used machine learning and evaluation methods for representation learning using a deep learning approach in Section 2. Following that, we review recent related studies of learning patient state representation from EHR for clinical machine learning tasks in Section 3. Finally, in Section 4 we discuss more techniques, studies, and challenges for learning natural language representations when free texts, such as clinical notes, examination reports, or biomedical literature are used. We also discuss challenges and opportunities in these rapidly growing research fields.

연구 동기 및 목표

• 복잡하고 이질적인 EHR 데이터를 의미 있는 저차원 표현으로 변환하여 후행 임상 기계 학습 성능을 향상시키는 데 도전하는 것.
• 전문가가 수작업으로 구성한 임상 특징와 자동 표현 학습 간 격차를 해소하기 위해 딥러닝을 활용해 EHR 데이터 내 숨겨진 패턴을 포착하는 것.
• 분야 지식과 인간이 이해할 수 있는 구조를 학습된 표현에 통합함으로써 모델의 설명 가능성과 임상적 사용 가능성을 향상시키는 것.
• 임상 노트, 검사 결과, 영상, 청구 데이터 등 다양한 영역 간의 다중모달 표현 학습을 탐색하여 강건하고 일반화 가능한 모델을 만드는 것.
• 임상 표현 학습에서 데이터 부족, 시간적 비정규성, 모델 편향, 개인정보 보호, 인과관계와 같은 핵심 과제를 규명하는 것.

제안 방법

• EHR 데이터에서 조밀하고 저차원의 표현을 학습하기 위해 오토인코더, 변동형 오토인코더(VAEs), 시퀀스 모델(RNNs, Transformers 등)와 같은 딥러닝 아키텍처를 활용한다.
• UMLS 메타테사우루스와 MeSH 용어를 통합한 단어 임베딩 기반의 word2vec 및 의존성 기반 단어 임베딩을 적용하여 임상 자연어 표현을 향상시킨다.
• 이중어사전 유도 및 크로스 어텐션 메커니즘을 활용해 다양한 임상 언어 스타일(예: 전문가 대비 소비자 언어) 간 표현을 정렬하고 전이한다.
• 텍스트, 검사 결과, 생체 정보, 영상 등의 다중모달 데이터를 공동 임베딩 공간을 통해 통합하여 통합된 환자 상태 표현을 학습한다.
• UMLS CUIs 등을 활용한 개념 수준 매핑 및 리트로핏 기법을 통해 도메인 지식을 통합하여 단어 및 개념 벡터의 품질을 향상시킨다.
• 어텐션 메커니즘과 설명 가능한 모델링을 활용해 모델의 설명 가능성과 임상 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 표현 학습 기법은 복잡하고 시간에 따라 변화하는, 이질적인 EHR 데이터를 효과적으로 포착하여 임상 예측 성능을 향상시킬 수 있는가?
• RQ2 표현 학습 기법이 진단 지원, 사망 예측, 위험 분류 등의 과제에서 전통적인 전문가가 수작업으로 구성한 임상 스코어링 시스템을 얼마나 뛰어넘을 수 있는가?
• RQ3 UMLS, MeSH와 같은 표준화된 용어 체계와 도메인 지식은 학습된 표현에 어떻게 통합되어 강건성과 해석 가능성을 향상시킬 수 있는가?
• RQ4 임상 노트, 검사 결과, 의료 영상 간의 교차 도메인 및 다중모달 표현 학습의 이점과 한계는 무엇인가? 특히 이러한 분야 간 통합에서의 영향을 고려할 것.
• RQ5 실제 EHR 시스템에서의 데이터 편향, 개인정보 침해 위협, 시간적 비정규성에 대해 더 강건한 표현 학습 모델을 어떻게 설계할 수 있는가?

주요 결과

• 전통적인 특징 공학 기법에 비해 EHR에서의 표현 학습은 진단 지원, 위험 예측, 환자 표현형 분류와 같은 후행 임상 과제에서 성능을 크게 향상시킨다.
• 특히 도메인 지식과 다중모달 데이터를 통합한 표현 학습 모델은 중환자 치료에서 APACHE나 SOFA와 같은 전통적 임상 스코어링 시스템을 뛰어넘는 사망 예측 성능을 보인다.
• UMLS 메타테사우루스 지식을 단어 임베딩에 통합하면 EHR 내 자연어 표현의 품질과 임상적 관련성이 향상된다.
• 이중어사전 유도와 같은 교차 도메인 정렬 기법은 병렬 코퍼스 없이도 전문가와 소비자 언어 간 효과적인 번역을 가능하게 한다.
• 다중모달 및 다중작업 표현 학습 프레임워크는 병리학 메타데이터 예측 및 유사 과제에 더 일반화되고 강건한 모델을 만들어낸다.
• 다양한 발전에도 불구하고 공정성, 개인정보 보호, 인과관계, 임상 적용과 같은 과제는 여전히 남아 있으며, 이는 향후 보다 해석 가능하고 강건하며 윤리적으로 설계된 의료 분야의 표현 학습이 필요함을 시사한다.