[논문 리뷰] TF-IDF vs Word Embeddings for Morbidity Identification in Clinical Notes: An Initial Study

Danilo Dessı̀, Rim Helaoui외 3명|arXiv (Cornell University)|2020. 03. 17.

Machine Learning in Healthcare참고 문헌 7인용 수 17

한 줄 요약

이 연구는 임상 노트에서 16종의 질환 유형을 분류하기 위해 워드 임베딩(GloVe, Word2Vec, 도메인 특화)을 사용한 딥러닝과 전통적인 TF-IDF, SVM 및 MLP를 비교한다. 최신 기술의 워드 임베딩을 사용했음에도 불구하고, TF-IDF 기반 모델이 모든 딥러닝 접근 방식을 압도적으로 뛰어넘었으며, 평균 F1 점수는 98.47%로 딥러닝의 77.64%보다 높게 나타났다. 이는 빈도가 높고 질환 특화 키워드에 치우친 데이터셋의 편향을 시사한다.

ABSTRACT

Today, we are seeing an ever-increasing number of clinical notes that contain clinical results, images, and textual descriptions of patient's health state. All these data can be analyzed and employed to cater novel services that can help people and domain experts with their common healthcare tasks. However, many technologies such as Deep Learning and tools like Word Embeddings have started to be investigated only recently, and many challenges remain open when it comes to healthcare domain applications. To address these challenges, we propose the use of Deep Learning and Word Embeddings for identifying sixteen morbidity types within textual descriptions of clinical records. For this purpose, we have used a Deep Learning model based on Bidirectional Long-Short Term Memory (LSTM) layers which can exploit state-of-the-art vector representations of data such as Word Embeddings. We have employed pre-trained Word Embeddings namely GloVe and Word2Vec, and our own Word Embeddings trained on the target domain. Furthermore, we have compared the performances of the deep learning approaches against the traditional tf-idf using Support Vector Machine and Multilayer perceptron (our baselines). From the obtained results it seems that the latter outperforms the combination of Deep Learning approaches using any word embeddings. Our preliminary results indicate that there are specific features that make the dataset biased in favour of traditional machine learning approaches.

연구 동기 및 목표

• 임상 노트에서 다중 질환 분류에 대해 워드 임베딩을 사용한 딥러닝의 효과성을 조사하기 위해.
• 사전 훈련된(GloVe, Word2Vec) 및 도메인 특화 워드 임베딩를 TF-IDF 기반 기준선과 비교하기 위해.
• 딥러닝 모델이 임상 질환 탐지에서 기존 기계학습 방법을 능가할 수 있는지 평가하기 위해.
• 기존 기계학습 접근 방식에 치우친 데이터세트 특성들을 특정하기 위해.

제안 방법

• 임상 텍스트에서 16종의 질환 유형을 분류하기 위해 양방향 LSTM 딥러닝 모델을 사용하였다.
• 세 가지 유형의 워드 임베딩을 사용: 사전 훈련된 GloVe 및 Word2Vec, 그리고 자체 훈련한 도메인 특화 임베딩.
• SVM 및 다층퍼셉트론 기준선에 사용하기 위해 임상 노트에서 TF-IDF 특징 벡터를 구성하였다.
• 모든 질환 유형에 걸쳐 안정적인 성능 평가를 보장하기 위해 5겹 교차검증을 적용하였다.
• 질환 특화 언어 패턴을 포착하기 위해 대상 임상 데이터세트에서 도메인 특화 워드 임베딩을 훈련시켰다.
• 모든 질환 유형에 걸쳐 F1 점수, 정밀도, 재현율을 사용하여 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 및 도메인 특화 워드 임베딩을 사용할 경우, 임상 노트에서 TF-IDF 대비 질환 분류 성능이 향상되는가?
• RQ2 워드 임베딩을 사용한 딥러닝 모델이 다중 질환 탐지에서 기존 기계학습 모델(TF-IDF 기반)을 능가할 수 있는가?
• RQ3 어떤 특정한 데이터세트 특징이 기존 기계학습(TF-IDF)이 딥러닝 접근 방식보다 뛰어나게 성능을 내는 데 기여하는가?
• RQ4 GloVe, Word2Vec, 도메인 특화 워드 임베딩 등의 다양한 워드 임베딩 유형이 임상 질환 용어를 표현하는 데 얼마나 효과적인가?

주요 결과

• TF-IDF와 SVM 기반 기준선이 평균 F1 점수 98.47%를 기록하여 모든 딥러닝 모델을 크게 앞섰다.
• GloVe 임베딩을 사용한 최고의 딥러닝 모델도 평균 F1 점수 77.64%를 기록하여 상당한 성능 격차를 보였다.
• TF-IDF 기반 다층퍼셉트론 모델은 평균 F1 점수 97.72%를 기록하여 이 분야에서 기존 기계학습의 우월성을 추가로 확인하였다.
• 모든 질환 유형에서 GloVe 임베딩이 Word2Vec보다 성능이 뛰어나, 임상 용어 패턴을 더 잘 포착하는 것으로 나타났다.
• 도메인 특화 워드 임베딩는 사전 훈련된 임베딩 및 TF-IDF보다 성능이 열 劣하였으며, 이는 훈련 데이터 크기가 부족했기 때문일 것이다.
• 결과적으로 데이터세트가 각 질환 유형마다 고도로 구분 가능한 빈도 높은 키워드를 포함하고 있으며, 이는 TF-IDF가 효과적으로 포착할 수 있어 기존 기계학습 모델의 높은 성능로 이어졌음을 시사한다.