[論文レビュー] Information Extraction of Clinical Trial Eligibility Criteria

Yitong Tseo, M. I. Salkola+3 more|arXiv (Cornell University)|Jun 12, 2020

Topic Modeling参考文献 21被引用数 5

ひとこと要約

本論文は、ClinicalTrials.gov の非構造化テキストから臨床試験の登録基準を抽出・基盤化するための新規な知識ベース構築フレームワークを提示する。注意機構を備えたBiLSTM-CRFモデルによる細粒度命名エンティティ認識（F1=0.802）と、word2vec埋め込みのクラスタリングを用いたエンティティリンキング（正確度=0.485）を統合し、エンド・ツー・エンドの正確度75.3％を達成。従来のシステム（例：Criteria2Query）の主要モジュールを上回り、オープンソースで競争力のあるパイプラインを確立した。

ABSTRACT

Clinical trials predicate subject eligibility on a diversity of criteria ranging from patient demographics to food allergies. Trials post their requirements as semantically complex, unstructured free-text. Formalizing trial criteria to a computer-interpretable syntax would facilitate eligibility determination. In this paper, we investigate an information extraction (IE) approach for grounding criteria from trials in ClinicalTrials(dot)gov to a shared knowledge base. We frame the problem as a novel knowledge base population task, and implement a solution combining machine learning and context free grammar. To our knowledge, this work is the first criteria extraction system to apply attention-based conditional random field architecture for named entity recognition (NER), and word2vec embedding clustering for named entity linking (NEL). We release the resources and core components of our system on GitHub at https://github.com/facebookresearch/Clinical-Trial-Parser. Finally, we report our per module and end to end performances; we conclude that our system is competitive with Criteria2Query, which we view as the current state-of-the-art in criteria extraction.

研究の動機と目的

• 臨床試験の参加者獲得が低く、多様性に欠ける問題に対処するため、非構造化テキストから登録基準を自動抽出することを目的とする。
• 臨床試験の登録基準抽出を知識ベース構築タスクとして形式化し、複雑な自由テキスト基準の機械可読表現を可能にする。
• 注目型ディープラーニングと自己教師付き埋め込みクラスタリングを導入することで、臨床試験基準におけるエンティティ認識とリンキングを向上させる。
• NERやNELの主要モジュールで既存の最先端手法を上回る、競争力がありオープンソースのシステムを開発すること。
• 研究の再現性とベンチマークのため、121,221件の臨床エンティティ、属性、制限を含む大規模かつ人手でアノテートされたデータセットを公開すること。

提案手法

• システムは、登録基準抽出を知識ベース構築タスクとして定式化し、命名エンティティ認識（NER）と文脈自由文法（CFG）に基づく属性および制約抽出の2つのモジュールに分解する。
• 細粒度NERには、注目機構を備えたBiLSTM-CRFアーキテクチャを採用し、治療、慢性疾患、アレルギーなど10種類のエンティティクラスを検出。文脈理解の向上を図る。
• 命名エンティティリンキング（NEL）には、試験概要で学習したword2vec埋め込みをクラスタリングし、知識ベースにマッピングすることで、手動の概念セットを必要としない自己教師付き基盤を実現。
• CFGエンジンは、構文的ルールを用いて属性認識、リンキング、制約抽出（例：＞18歳、＜25 kg/m²）を同時に実行。複雑な基準の解析に適応。
• ルールベースの否定検出モジュールは、「not」や「no」などの否定語を検出し、除外基準を特定。正確度は83.8％を達成。
• パイプラインは、85件のゴールデンセット（高精度基準）を用いてエンド・ツー・エンドで評価され、医療専門家による評価が実施された。

実験結果

リサーチクエスチョン

• RQ1 従来のCRFモデルと比較して、注目型ニューラルアーキテクチャは、臨床試験登録基準における細粒度命名エンティティ認識を改善できるか？
• RQ2 自己教師付きword2vec埋め込みクラスタリングは、ルールベースまたは概念セット駆動のアプローチを上回る性能を示せるか？
• RQ3 文脈自由文法（CFG）エンジンは、意味的に複雑な自由テキスト基準から属性制約を正確に抽出・解析できるか？
• RQ4 エンド・ツー・エンドの基準抽出正確度において、本システムは現在の最先端技術（Criteria2Query）と比較してどのように性能を発揮するか？
• RQ5 エンティティリンキングにおける主なボトルネックは何か？また、より具体的な臨床オントロジーを知識ベースに追加することで、それらの課題を軽減できるか？

主な発見

• 提案された注目型BiLSTM-CRFモデルは、10クラスの細粒度エンティティ認識でF1スコア0.802を達成。一般用途のNER（F1=0.804）を上回り、より細分化されたエンティティタイプを捉えることができる。
• word2vec埋め込みクラスタリングを用いたNELは正確度0.485を達成し、Criteria2QueryのNEL（0.447）をわずかに上回るが、依然として有効な抽出の41.6％が正しく基盤化されていない。
• CFGベースの属性および制約抽出は、ゴールデンセットで93.8％の精度（15/16）を達成。推定リンキング正確度は75.0％（15/20）で、構造化された属性抽出において優れた性能を示した。
• 否定検出モジュールは83.8％の正確度（57/68）を達成し、除外基準の処理が効果的に行われており、これはCriteria2Queryのフレームワークに存在しない特徴である。
• エンド・ツー・エンドのシステムはゴールデンセットで75.3％の正確度（64/85）を達成。これは、現在の最先端と見なされるCriteria2Queryと同等の性能を示した。
• 著者らは、121,221件のエンティティ、属性、制限を含む大規模かつ人手でアノテートされたデータセットを公開。トレーニングデータ、モデル、コードをGitHubに公開し、再現性と今後のベンチマークに貢献。