[논문 리뷰] Embedding Electronic Health Records for Clinical Information Retrieval

Xing Wei, Carsten Eickhoff|arXiv (Cornell University)|2018. 11. 13.

Machine Learning in Healthcare참고 문헌 12인용 수 10

한 줄 요약

이 논문은 MIMIC-III 데이터셋을 활용하여 ICD 코드 예측을 대체 작업으로 삼아 원거리 지도 학습 방식을 제안하며, EHR 노트에서 임의의 의미 있는 표현을 학습하는 밀도 높은 텍스트 임베딩을 훈련한다. 이 임베딩은 특히 장문의 문맥 기반 질의에서 임상 정보 검색 성능을 크게 향상시키며, 전통적인 정보 검색 모델을 능가하고, 딥 리levance 매칭 모델과 조합했을 때 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Neural network representation learning frameworks have recently shown to be highly effective at a wide range of tasks ranging from radiography interpretation via data-driven diagnostics to clinical decision support. This often superior performance comes at the price of dramatically increased training data requirements that cannot be satisfied in every given institution or scenario. As a means of countering such data sparsity effects, distant supervision alleviates the need for scarce in-domain data by relying on a related, resource-rich, task for training. This study presents an end-to-end neural clinical decision support system that recommends relevant literature for individual patients (few available resources) via distant supervision on the well-known MIMIC-III collection (abundant resource). Our experiments show significant improvements in retrieval effectiveness over traditional statistical as well as purely locally supervised retrieval models.

연구 동기 및 목표

• 정보 검색을 위한 효과적인 임상 텍스트 임베딩을 훈련하는 데 있어 데이터 부족 문제를 해결한다.
• 풍부한 ICD 코드 레이블이 있는 데이터를 대체 지도 신호로 활용하여 고품질의 문맥 인식 임베딩을 생성하는 방법을 개발한다.
• 단어 수준의 표현을 넘어서 의미적 문맥을 포착함으로써 장문의 임상 질의에 대한 검색 효율성을 향상시킨다.
• ICD 코드 예측과 같은 관련 분류 작업에서 훈련된 임베딩이 후속 정보 검색 작업으로 일반화되는지 입증한다.

제안 방법

• MIMIC-III EHR 노트에서 ICD-10 진단 코드를 예측하기 위해 컨볼루션 신경망(CNN)을 훈련하며, 사전 훈련된 단어 임베딩을 입력으로 사용한다.
• CNN의 학습된 은닉층 표현을 추출하여 전체 의료 노트 또는 단락의 조밀하고 문맥 기반 임베딩으로 활용한다.
• 훈련된 임베딩 모델을 사용해 질의 및 후보 문서를 고정 크기의 벡터로 인코딩하여 검색에 활용한다.
• 단락 임베딩을 딥 리levance 매칭 모델(DRMM)에 입력하여 질의와 문서 쌍 간의 관련도 점수를 계산한다.
• 질의와 문서 임베딩 간의 코사인 유사도를 별도 또는 보완적인 점수 함수로 적용한다.
• DRMM, 코사인 유사도, 앙상블 등 여러 점수 방법을 조합하여 종합적인 검색 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 ICD 코드 예측과 같은 대체 작업이 임상 정보 검색에 일반화되는 밀도 높은 텍스트 임베딩을 효과적으로 훈련하는 데 유용한가?
• RQ2 제안된 임베딩 방법은 환자 사례에 대한 관련 생물의학 문헌을 검색할 때 기존의 정보 검색 모델(BM25 등)과 비교해 어떻게 성능을 냈는가?
• RQ3 더 긴, 더 많은 문맥 정보를 포함한 질의에서 임베딩 기반 검색 모델의 성능이 향상되는가?
• RQ4 큰 규모의 자원이 풍부한 데이터셋(MIMIC-III)을 활용한 원거리 지도 학습이 자원이 제한된 임상 검색 환경에서의 데이터 부족 문제를 효과적으로 완화할 수 있는가?

주요 결과

• 제안된 임베딩 모델은 TREC-CDS 2016 데이터셋에서 기존의 정보 검색 기반 모델(BM25)보다 유의미하게 뛰어난 성능을 보였으며, 앙상블 방법을 사용할 경우 MAP가 0.2084에 도달했다.
• 문서 임베딩 간의 코사인 유사도만으로도 TREC-CDS에서 P@20(0.2267)과 nDCG@20(0.1548)가 가장 높게 기록되어 강력한 의미적 매칭 능력을 입증했다.
• Tipster 데이터셋에서는 앙상블 모델이 가장 높은 MAP(0.3573), P@20(0.4488), nDCG@20(0.4746) 성능을 기록하여 뛰어난 일반화 능력을 입증했다.
• 단락 임베딩을 사용한 DRMM 모델(DRMM+para)이 두 데이터셋 모두에서 BM25를 능가했으며, 문맥 기반 임베딩의 가치를 확인했다.
• 모델의 성능은 특히 장문의 다중 단락 질의에서 두드러지게 뛰어나 실제 임상 의사결정 지원 시나리오에 적합함을 시사한다.
• ICD 코드 예측 작업에서 훈련된 임베딩 모델은 20.72%의 정확도를 기록하여 임상적으로 의미 있는 표현을 효과적으로 학습하고 있음을 검증했다.