[논문 리뷰] Embedding Complexity In the Data Representation Instead of In the Model: A Case Study Using Heterogeneous Medical Data

Jacek M. Bajor, Diego Mesa외 2명|arXiv (Cornell University)|2018. 02. 12.

Machine Learning in Healthcare참고 문헌 32인용 수 8

한 줄 요약

이 논문은 복잡한 임상 데이터 간의 종속성을 데이터 표현 그 자체에 직접 통합함으로써 광범위한 사전 처리를 생략하고, 후속 예측을 위한 단순하고 빠른 선형 모델을 가능하게 하기 위해 전체 기록의 의미적 임베딩을 사용하는 것을 제안한다. 이 방법은 세 가지 임상 과제에서 경쟁력 있는 성능를 달성하면서도 환자 유사성과 질환 진행 경로를 유지함으로써, 데이터에 복잡성을 통합함으로써 전문가 기반 사전 처리와 복잡한 모델에 대한 의존도를 줄일 수 있음을 보여준다.

ABSTRACT

Electronic Health Records have become popular sources of data for secondary research, but their use is hampered by the amount of effort it takes to overcome the sparsity, irregularity, and noise that they contain. Modern learning architectures can remove the need for expert-driven feature engineering, but not the need for expert-driven preprocessing to abstract away the inherent messiness of clinical data. This preprocessing effort is often the dominant component of a typical clinical prediction project. In this work we propose using semantic embedding methods to directly couple the raw, messy clinical data to downstream learning architectures with truly minimal preprocessing. We examine this step from the perspective of capturing and encoding complex data dependencies in the data representation instead of in the model, which has the nice benefit of allowing downstream processing to be done with fast, lightweight, and simple models accessible to researchers without machine learning expertise. We demonstrate with three typical clinical prediction tasks that the highly compressed, embedded data representations capture a large amount of useful complexity, although in some cases the compression is not completely lossless.

연구 동기 및 목표

• 임상 예측에서 전문가 기반 사전 처리의 필요성을 줄이기 위해 복잡한 데이터 종속성을 데이터 표현 자체에 직접 통합하는 것.
• 모델의 복잡성을 데이터 표현으로 옮김으로써 단순하고 빠르며 해석 가능한 모델(예: 선형 분류기)의 사용을 가능하게 하는 것.
• 매우 압축된, 임베딩된 표현 방식이 환자 유사성과 질환 진행 경로와 같은 임상적으로 의미 있는 패턴을 유지할 수 있는지 평가하는 것.
• 비지도, 기록 수준의 의미적 임베딩을 다양한 임상 예측 과제에 일반적으로 재사용 가능한 표현으로 사용할 수 있는지 보여주는 것.
• 기계 학습 전문 지식이 없는 연구자들이 EHR 기반 연구를 수행할 수 있도록 가능한 스케일러블하고 저비용의 접근 방법을 제공하는 것.

제안 방법

• 이 방법은 Word2Vec에 영감을 받은 스킵그램 방식의 의미적 임베딩을 사용하여 임상 코드와 사건 기반으로 전체 환자 기록의 조밀한 벡터 표현을 학습한다.
• 각 환자의 종단적이고 이질적인 EHR 데이터는 진단, 약물, 검사 결과 등의 임상 사건 시퀀스로 간주되며, 고정 크기의 벡터 공간으로 임베딩된다.
• 임베딩 모델은 대규모 EHR 데이터 코퍼스에서 비지도 방식으로 훈련되어 환자 전체 기록 표현을 기반으로 시퀀스 상의 근접한 사건을 예측하도록 학습된다.
• 결과로 생성된 임베딩 벡터는 후속 예측 과제의 입력 특징으로 사용되며, 원시 데이터나 사전 처리된 데이터를 대체한다.
• 임베딩 표현에 기반하여 단순한 선형 모델(로지스틱 회귀)과 더 복잡한 모델(XGBoost)을 훈련하여 성능를 비교한다.
• 차원 감소(PCA)를 통해 임베딩 벡터에 대한 환자 유사성과 질환 진행 경로를 시각화하여 의미적 구조의 유지 여부를 평가한다.

실험 결과

연구 질문

• RQ1 전체 EHR 기록에 대한 단일한 일반적이고 비지도 임베딩이 광범위한 사전 처리 없이도 충분한 복잡성을 포괄하여 정확한 임상 예측을 지원할 수 있는가?
• RQ2 임베딩 표현을 사용하면 단순하고 가벼운 모델(예: 선형 분류기)을 복잡한 아키텍처 대신 효과적으로 사용할 수 있는가?
• RQ3 임베딩 표현이 환자 유사성과 질환 진행 경로와 같은 임상적으로 의미 있는 패턴을 어느 정도 유지하는가?
• RQ4 임베딩 표현에 기반한 모델의 성능가 전통적인 전문가 사전 처리 특징에 기반한 모델과 비교해 볼 때 어떻게 되는가?
• RQ5 이 접근 방식이 EHR 연구의 초도 개념 증명 연구를 위한 스케일러블하고 노력이 적은 대안이 될 수 있는가?

주요 결과

• 임베딩 표현은 유방암, 당뇨병 치료, 폐암 예측과 같은 세 가지 임상 예측 과제에서 전통적인 사전 처리 방법과 비교해 유사한 성능를 달성했다.
• 임베딩 벡터에 기반한 선형 모델은 원시 데이터나 사전 처리된 데이터에 기반한 모델과 비교해 보정 성능가 동등하거나 약간 뛰어나게 나타났으며, 특히 더 복잡한 XGBoost 모델에서 유의미한 개선이 관찰되었다.
• 임베딩 표현은 환자 유사성을 유지하였으며, 질병 발병이 확인된 경우에 해당 벡터들이 임베딩 공간에서 빽빽이 뭉쳐져 의미 있는 의미적 구조를 반영하고 있었다.
• 임베딩 공간에서의 환자 궤적은 질병 진행 경로를 명확히 보여주었으며, 음성에서 양성 상태로의 전환을 나타내는 색상 변화(어두운 PURPLE에서 노란색으로 전환)로 진단 시점이 명확히 표시되었다.
• 이 방법은 비전문가가 접근할 수 있는 빠르고 해석 가능한 모델을 가능하게 하여 EHR 기반 연구의 진입 장벽을 낮추었다.
• 이 접근 방식은 일반적이고 비지도 방식이므로 대규모 응용 분야, 예를 들어 ICD-9 코드 18,000개의 질환 예측 등에도 잠재력을 보였다.