[論文レビュー] Integration of Domain Knowledge using Medical Knowledge Graph Deep Learning for Cancer Phenotyping

Mohammed Alawad, Shang Gao+10 more|arXiv (Cornell University)|Jan 5, 2021

Biomedical Text Mining and Ontologies参考文献 7被引用数 5

ひとこと要約

本論文では、病理報告書からのがん表現型抽出を改善するために、UMLS医療知識グラフからのドメイン知識を単語埋め込みに統合する手法を提案する。事前学習済みのword2vec埋め込みにUMLSの意味的関係を統合することで文脈表現が向上し、90万件の病理報告書を対象としたマルチタスクCNNモデルを用いた結果、低発生率のがん特徴のマクロF1スコアが22.5%相対的に向上した。

ABSTRACT

A key component of deep learning (DL) for natural language processing (NLP) is word embeddings. Word embeddings that effectively capture the meaning and context of the word that they represent can significantly improve the performance of downstream DL models for various NLP tasks. Many existing word embeddings techniques capture the context of words based on word co-occurrence in documents and text; however, they often cannot capture broader domain-specific relationships between concepts that may be crucial for the NLP task at hand. In this paper, we propose a method to integrate external knowledge from medical terminology ontologies into the context captured by word embeddings. Specifically, we use a medical knowledge graph, such as the unified medical language system (UMLS), to find connections between clinical terms in cancer pathology reports. This approach aims to minimize the distance between connected clinical concepts. We evaluate the proposed approach using a Multitask Convolutional Neural Network (MT-CNN) to extract six cancer characteristics -- site, subsite, laterality, behavior, histology, and grade -- from a dataset of ~900K cancer pathology reports. The results show that the MT-CNN model which uses our domain informed embeddings outperforms the same MT-CNN using standard word2vec embeddings across all tasks, with an improvement in the overall micro- and macro-F1 scores by 4.97\%and 22.5\%, respectively.

研究の動機と目的

• 標準的な単語埋め込みが臨床文書におけるドメイン固有の関係的知識を捉えることの限界を解決すること。
• 非構造化病理報告書からのがん表現型抽出におけるディープラーニングモデルの性能を向上させること。
• 一部のがんタイプが希少であるがん登録データにおけるクラス不均衡問題を軽減すること。
• 外部医療知識（UMLS）を分散表現の単語埋め込みに統合し、より良い意味的整合性を実現すること。
• 知識強化埋め込みが腫瘍学分野の下流NLPタスクに与える影響を評価すること。

提案手法

• 大規模ながん病理報告書コーパスを用いてword2vecによる単語埋め込みの事前学習を行う。
• UMLSのSNOMED、NCI、ICD10語彙を統合して知識グラフを構築する。
• UMLSの意味的関係を用いて単語埋め込みをリファインし、概念的に類似した語の距離を短縮する（例：'Renal Failure' と 'Kidney Failure'）。
• 強化された埋め込みを入力として、6つのがん表現型を同時に予測するマルチタスク畳み込みニューラルネットワーク（MT-CNN）を用いる。
• バックプロパゲーションを用いてMT-CNNをエンドツーエンドで訓練し、6つのタスクを同時に最適化する。
• ブートストラップ法を用いて95%信頼区間を算出し、マイクロおよびマクロF1スコアを評価する。

実験結果

リサーチクエスチョン

• RQ1 UMLSの知識を単語埋め込みに統合することで、がん病理報告書における臨床用語の表現が向上するか？
• RQ2 知識強化埋め込みは、がん表現型抽出におけるディープラーニングモデルの性能を向上させるか？
• RQ3 提案手法は、標準的な埋め込みと比較して、低発生率のがん特徴に対してどのように性能を発揮するか？
• RQ4 知識統合は、がん表現型抽出タスクにおけるクラス不均衡問題をどの程度軽減するか？
• RQ5 強化された埋め込みを用いたマルチタスクCNNは、標準的なword2vec埋め込みを用いたベースラインモデルを上回るか？

主な発見

• UMLS強化埋め込みを用いたMT-CNNモデルは、ベースラインと比較してマイクロF1スコアが4.97%絶対的に向上（0.805 → 0.845）した。
• マクロF1スコアは22.5%相対的に向上（0.480 → 0.588）し、低発生率のがん特徴の性能向上が顕著に示された。
• 提案手法は、高発生率および低発生率の両クラスでベースラインを上回り、特に希少カテゴリで最大の向上が観察された。
• 強化された埋め込みを用いたモデルは、全6つのがん特徴について41.66%の病理報告書を正しく表現型分類できたが、ベースラインでは31.47%にとどまった。
• 部位、側性、行動性、組織像の予測に限定した場合、提案手法は68.89%の正しく表現型分類された報告書を達成したのに対し、ベースラインは62.88%であった。
• 結果から、UMLSによる外部ドメイン知識の統合が、臨床NLP分野における表現学習とモデル一般化能力を顕著に向上させることを示している。