[論文レビュー] TF-IDF vs Word Embeddings for Morbidity Identification in Clinical Notes: An Initial Study

Danilo Dessı̀, Rim Helaoui+3 more|arXiv (Cornell University)|Mar 17, 2020

Machine Learning in Healthcare参考文献 7被引用数 17

ひとこと要約

本研究では、臨床ノートにおける16種類の疾患タイプを分類するために、ワード埋め込み（GloVe、Word2Vec、ドメイン固有）を用いたディープラーニングと、SVMおよびMLPを用いた伝統的なTF-IDFの効果を評価した。最新の埋め込みを用いても、TF-IDFベースのモデルがすべてのディープラーニング手法を上回り、平均F1スコアは98.47%を達成したのに対し、ディープラーニングでは77.64%にとどまり、頻度の高い疾患固有のキーワードに偏ったデータセットのバイアスが示唆された。

ABSTRACT

Today, we are seeing an ever-increasing number of clinical notes that contain clinical results, images, and textual descriptions of patient's health state. All these data can be analyzed and employed to cater novel services that can help people and domain experts with their common healthcare tasks. However, many technologies such as Deep Learning and tools like Word Embeddings have started to be investigated only recently, and many challenges remain open when it comes to healthcare domain applications. To address these challenges, we propose the use of Deep Learning and Word Embeddings for identifying sixteen morbidity types within textual descriptions of clinical records. For this purpose, we have used a Deep Learning model based on Bidirectional Long-Short Term Memory (LSTM) layers which can exploit state-of-the-art vector representations of data such as Word Embeddings. We have employed pre-trained Word Embeddings namely GloVe and Word2Vec, and our own Word Embeddings trained on the target domain. Furthermore, we have compared the performances of the deep learning approaches against the traditional tf-idf using Support Vector Machine and Multilayer perceptron (our baselines). From the obtained results it seems that the latter outperforms the combination of Deep Learning approaches using any word embeddings. Our preliminary results indicate that there are specific features that make the dataset biased in favour of traditional machine learning approaches.

研究の動機と目的

• 臨床ノートにおける多発疾患分類に、ワード埋め込みを用いたディープラーニングの有効性を調査すること。
• 事前学習済み（GloVe、Word2Vec）およびドメイン固有のワード埋め込みを、TF-IDFをベースラインとして比較すること。
• ディープラーニングモデルが、臨床的疾患検出において、従来の機械学習手法を上回ることを評価すること。
• 古典的機械学習手法に有利に働く、データセット固有の特徴を同定すること。

提案手法

• 臨床テキストから16種類の疾患タイプを分類するために、双方向LSTMのディープラーニングモデルを採用した。
• 3種類のワード埋め込みを用いた：事前学習済みのGloVeおよびWord2Vec、および自ら学習したドメイン固有の埋め込み。
• 臨床ノートからTF-IDF特徴ベクトルを構築し、SVMおよびマルチレイヤーパーセプトロンのベースラインに使用した。
• 全疾患クラスにわたる性能評価の信頼性を確保するため、5分割交差検証を適用した。
• ターゲットの臨床データセット上でドメイン固有のワード埋め込みを学習させ、疾患固有の言語的パターンを捉えた。
• 全疾患クラスにわたってF1スコア、適合率、再現率を用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 臨床ノートにおける疾患分類性能について、事前学習済みおよびドメイン固有のワード埋め込みは、TF-IDFを上回るか？
• RQ2 ワード埋め込みを用いたディープラーニングモデルは、TF-IDFを用いた従来の機械学習手法を上回ることができるか？
• RQ3 このデータセットにどのような特徴が存在し、それが古典的機械学習（TF-IDF）がディープラーニングを著しく上回る要因となっているのか？
• RQ4 GloVe、Word2Vec、ドメイン固有の埋め込みの3種類のワード埋め込みは、臨床的疾患用語の表現能力においてどのように比較されるか？

主な発見

• TF-IDFとSVMを組み合わせたベースラインが、平均F1スコア98.47%を達成し、すべてのディープラーニングモデルを著しく上回った。
• GloVe埋め込みを用いた最良のディープラーニングモデルでも、平均F1スコアは77.64%にとどまり、顕著な性能差が確認された。
• TF-IDFを用いたマルチレイヤーパーセプトロンが、平均F1スコア97.72%を達成し、この文脈において古典的機械学習の優位性をさらに裏付けた。
• GloVe埋め込みは、全疾患クラスにおいてWord2Vecを上回り、臨床用語のパターンをよりよく捉えている可能性が示唆された。
• ドメイン固有のワード埋め込みは、事前学習済み埋め込みおよびTF-IDFの両方を下回ったが、これは学習データサイズが不足していることが主な要因とされる。
• 結果から、各疾患クラスに顕著な頻度の高いキーワードが存在し、TF-IDFがその特徴を効果的に捉えていることが示唆された。これにより、古典的モデルが優れた性能を発揮していると考えられる。