[논문 리뷰] Intelligent Word Embeddings of Free-Text Radiology Reports

Imon Banerjee, Sriraman Madhavan외 2명|PubMed|2017. 11. 19.

Topic Modeling참고 문헌 12인용 수 15

한 줄 요약

이 논문은 자유 텍스트 방사선 검사 보고서에서 도메인 인식형 밀도 단어 임베딩을 생성하기 위해 의미 어휘 매핑과 word2vec을 조합한 하이브리드 방법을 제안한다. 이 방법은 뇌내 출혈 진단 신뢰도 분류에서 88.64%의 가중 정밀도와 90.42%의 가중 재현율을 달성하여 기준 방법을 능가하며 방사선 영상 전문어휘의 변형에 대한 강건성을 입증한다.

ABSTRACT

Radiology reports are a rich resource for advancing deep learning applications in medicine by leveraging the large volume of data continuously being updated, integrated, and shared. However, there are significant challenges as well, largely due to the ambiguity and subtlety of natural language. We propose a hybrid strategy that combines semantic-dictionary mapping and word2vec modeling for creating dense vector embeddings of free-text radiology reports. Our method leverages the benefits of both semantic-dictionary mapping as well as unsupervised learning. Using the vector representation, we automatically classify the radiology reports into three classes denoting confidence in the diagnosis of intracranial hemorrhage by the interpreting radiologist. We performed experiments with varying hyperparameter settings of the word embeddings and a range of different classifiers. Best performance achieved was a weighted precision of 88% and weighted recall of 90%. Our work offers the potential to leverage unstructured electronic health record data by allowing direct analysis of narrative clinical notes.

연구 동기 및 목표

• 자연어의 모호성과 다양성으로 인해 비정형적인 방사선 검사 보고서에서 의미 있는 정보를 추출하는 데 도전하는 것.
• 도메인 전문 의미 어휘와 비지도 학습 word2vec 임베딩을 융합하여 방사선 분야에서의 단어 표현을 향상시키는 것.
• 뇌내 출혈에 대한 진단 신뢰도 수준으로 라벨링된 방사선 검사 보고서를 자동으로 고정밀도로 분류할 수 있도록 하는 것.
• 향후 방사선 분야 임상 NLP 응용을 위한 재사용이 가능한, 공개된 임베딩 모델을 구축하는 것.
• 의미 매핑이 낮은 어휘 수와 높은 전문성 특성을 지닌 도메인에서 단어 임베딩 품질과 분류 성능에 미치는 영향을 평가하는 것.

제안 방법

• 학습을 위해 PACS 데이터베이스에서 10,000건의 뇌 CT 검사 보고서를 추출하였다.
• 도메인 전문 의미 어휘를 사용하여 텍스트를 정제하고, 토큰화 및 정규화하였다.
• 창문 크기, 벡터 차원 수 등의 초모수 최적화를 적용하여 word2vec을 적용하여 밀도 높은 단어 벡터를 생성하였다.
• 의미 어휘 매핑과 word2vec을 융합하여 희귀어 또는 온보드 외어(OOV) 단어의 표현을 향상시켰다.
• 단어 벡터의 평균 풀링을 통해 보고서 수준의 임베딩을 생성하고, 이를 분류 모델의 입력 특징으로 사용하였다.
• 골드 스탠다드 신뢰도 레이블이 부여된 1,188건의 레이블링된 보고서 서브셋을 대상으로 랜덤 포레스트, KNN, SVM 등의 다양한 분류기 모델을 훈련하고 평가하였다.

실험 결과

연구 질문

• RQ1 표준 word2vec에 비해 의미 어휘 매핑과 word2vec을 융합하는 것이 방사선 보고서의 단어 임베딩 품질을 향상시키는가?
• RQ2 제안된 하이브리드 임베딩 방법은 뇌내 출혈에 대한 진단 신뢰도 수준으로 보고서를 분류하는 데 얼마나 효과적인가?
• RQ3 도메인 전문 의미 매핑을 포함하는 것이 기준 unigram 특징에 비해 분류 성능을 유의미하게 향상시키는가?
• RQ4 초모수 선택(창문 크기, 벡터 차원 수)이 임베딩 및 분류 파이프라인 성능에 미치는 영향은 어떠한가?
• RQ5 이 방법은 방사선 전문의의 어휘 사용 방식과 보고서 스타일의 다양성에 대해 얼마나 일반화되는가?

주요 결과

• 랜덤 포레스트를 사용한 하이브리드 방법은 730차원 단어 벡터를 사용해 가중 F1 점수 89.08%를 기록하여, unigram 기준선(F1 = 75.26%)을 크게 뛰어넘었다.
• 랜덤 포레스트는 테스트 세트에서 88.64%의 가중 정밀도와 90.42%의 가중 재현율을 기록하여 가장 높은 성능을 보였다.
• n=10인 KNN는 뿌리 차원 130차원만으로도 유사한 성능(정밀도 88.60%, 재현율 89.91%)을 기록하여 차원 수에 대한 강건성을 입증하였다.
• 도메인 전문 의미 매핑의 포함은 모든 모델에서 분류 성능 향상을 지속적으로 유도하였지만, 좁은 단일 기관 도메인 특성으로 인해 성능 향상은 점진적이었다.
• 제안된 방법은 의미 매핑을 활용하여 온보드 외어(OOV) 단어의 영향을 줄여 희귀어나 변형어에 대한 임베딩 품질을 향상시켰다.
• 저자들은 방사선 분야 임상 NLP 응용을 위한 재사용을 위해 훈련된 단어 임베딩을 https://github.com/imonban/RadiologyReportEmbedding 에 공개하였다.