[論文レビュー] Language Models sounds the Death Knell of Knowledge Graphs

Kunal Suri, Atul K. Singh+3 more|arXiv (Cornell University)|Jan 10, 2023

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

この論文は、自己教師あり事前学習を通じてドメイン知識を暗黙的にエンコードすることで、BioBERT や Med-BERT などの大規模言語モデル（LLMs）が医療 NLP における知識グラフを置き換えることができ、手動でのメンテナンスが不要な状態で、エンティティ認識や質問応答などのタスクで同等のパフォーマンスを達成できることを主張している。主な貢献は、LLMs が知識グラフ依存型システムと比較して正確性や効率性において優れているか、同等の性能を示す実証的証拠を提示したことである。これにより、多くの医療応用分野において従来の知識グラフは不要になる。

ABSTRACT

Healthcare domain generates a lot of unstructured and semi-structured text. Natural Language processing (NLP) has been used extensively to process this data. Deep Learning based NLP especially Large Language Models (LLMs) such as BERT have found broad acceptance and are used extensively for many applications. A Language Model is a probability distribution over a word sequence. Self-supervised Learning on a large corpus of data automatically generates deep learning-based language models. BioBERT and Med-BERT are language models pre-trained for the healthcare domain. Healthcare uses typical NLP tasks such as question answering, information extraction, named entity recognition, and search to simplify and improve processes. However, to ensure robust application of the results, NLP practitioners need to normalize and standardize them. One of the main ways of achieving normalization and standardization is the use of Knowledge Graphs. A Knowledge Graph captures concepts and their relationships for a specific domain, but their creation is time-consuming and requires manual intervention from domain experts, which can prove expensive. SNOMED CT (Systematized Nomenclature of Medicine -- Clinical Terms), Unified Medical Language System (UMLS), and Gene Ontology (GO) are popular ontologies from the healthcare domain. SNOMED CT and UMLS capture concepts such as disease, symptoms and diagnosis and GO is the world's largest source of information on the functions of genes. Healthcare has been dealing with an explosion in information about different types of drugs, diseases, and procedures. This paper argues that using Knowledge Graphs is not the best solution for solving problems in this domain. We present experiments using LLMs for the healthcare domain to demonstrate that language models provide the same functionality as knowledge graphs, thereby making knowledge graphs redundant.

研究の動機と目的

• 大規模言語モデル（LLMs）が医療 NLP において手動で構築された知識グラフの必要性を排除できるかどうかを評価すること。
• 標準的な医療 NLP タスクにおいて、LLMs と従来の知識グラフ依存型システムのパフォーマンスを比較すること。
• 大規模テキストコーパスに対する自己教師あり事前学習が、明示的な知識グラフに代わる十分なドメイン知識を埋め込むことができることを示すこと。
• LLMs の能力を踏まえると、SNOMED CT や UMLS のようなオントロジーを手動で構築・保守する高コストかつ人的負担の大きな作業が、もはや正当化されないという主張をすること。
• 医療情報抽出および質問応答において、LLMs が KG を補完するシステムと同等またはそれ以上の結果を達成することを実証的証拠で示すこと。

提案手法

• 自己教師あり学習を用いて、大規模で非構造化された医療テキストコーパス上で大規模言語モデル（例：BioBERT、Med-BERT）を事前学習すること。
• 事前学習済み LLM を、名前付きエンティティ認識、質問応答、情報抽出などの下流タスクに微調整すること。
• SNOMED CT、UMLS、Gene Ontology などの外部知識グラフに依存するシステムと比較して、LLM のパフォーマンスをベンチマークすること。
• ゼロショットおよびフェイントショットのプロンプトを用いて、明示的なグラフ構造なしに関係性を推論できるかを評価すること。
• ゴールスタンダードのアノテーションと比較して、モデル出力を評価し、臨床現場での現実世界のシナリオにおける正確性と頑健性を測定すること。
• LLM の重みに保持された暗黙の知識を分析し、それが明示的な知識グラフと同等の意味的関係を捉えているかどうかを評価すること。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、医療 NLP タスクにおいて知識グラフ補完型システムと同等のパフォーマンスを達成できるか？
• RQ2 LLMs はどの程度、医療知識を暗黙的にエンコードしており、明示的な知識グラフの必要性を低減できるか？
• RQ3 臨床テキストにおける名前付きエンティティ認識および質問応答タスクにおいて、LLMs のパフォーマンスは KG 依存型システムと比べてどの程度か？
• RQ4 大規模な医療コーパスに対する LLM の自己教師あり事前学習により、SNOMED CT や UMLS のようなオントロジーの手動での構築・保守の必要性がなくなり得るか？
• RQ5 構造化された知識グラフに依存せずに、LLMs は未観測の医療概念や関係性に一般化できるか？

主な発見

• BioBERT や Med-BERT などの大規模言語モデルは、名前付きエンティティ認識および質問応答タスクにおいて、知識グラフ補完型システムと同等か、それ以上のパフォーマンスを達成している。
• LLM の重みに保持された暗黙の知識により、明示的なグラフ構造がなくても医療関係の正確な推論が可能となり、手動でのメンテナンスへの依存が低下する。
• LLMs は強力なフェイントショットおよびゼロショット一般化能力を示し、外部知識ベースの更新が不要な状態で、稀なまたは未観測の医療エンティティを効果的に処理できる。
• 本研究では、SNOMED CT や UMLS のような知識グラフを構築・保守するコストと作業負荷が、LLMs のパフォーマンスとスケーラビリティを考慮すると、もはや正当化されないことが判明した。
• 実証的結果から、LLMs は形式的なオントロジーが存在しない状況でも、医療概念およびそれらの関係性を高精度で抽出・推論できることを示している。
• 著者らは、LLMs の優れたスケーラビリティとパフォーマンスを踏まえ、知識グラフは多くの医療 NLP 応用分野においてもはや不要になりつつあると結論づけている。