[論文レビュー] A generic rule-based system for clinical trial patient selection

Jianlin Shi, Kevin Graves+1 more|arXiv (Cornell University)|Jul 16, 2019

Ethics in Clinical Research参考文献 12被引用数 4

ひとこと要約

本論文では、臨床試験における多様な登録基準（入門基準および除外基準）を満たす患者を同定するための汎用的なルールベース自然言語処理パイプラインを提示する。臨床ノートに対して構造化されたルールマッチングを用いたシステムは、n2c2 2018チャレンジにおいて平均F1スコア0.89を達成し、45チーム中8位となり、ディープラーニングに依存せずに高い性能を示した。

ABSTRACT

The n2c2 2018 Challenge task 1 aimed to identify patients who meet lists of heterogeneous inclusion/exclusion criteria for a hypothetical clinical trial. We demonstrate a generic rule-based natural language pipeline can support this task with decent performance (the average F1 score on the test set is 0.89, ranked the 8th out of 45 teams ).

研究の動機と目的

• 臨床試験における複雑で多様な登録基準（入門基準および除外基準）を満たす患者を同定する課題に対処すること。
• ディープラーニングモデルに依存しない汎用的かつ再利用可能なルールベースのシステムを開発すること。
• 自然言語処理を用いて、実臨床データにおける患者選択の正確性を向上させること。
• 自由記述の臨床基準の解釈を自動化することで、臨床試験の参加者募集を支援すること。
• 臨床NLP分野の標準化されたベンチマークタスクにおいて高い性能を達成すること。

提案手法

• システムは、臨床試験の登録基準を構造化された臨床ノートと照合するためのルールベースパイプラインを用いる。
• 疾患、手術、薬剤などの医療概念を抽出するために、名前付きエンティティ認識と正規化を適用する。
• 臨床テキスト内の時間的要因、否定、比較表現を処理するための意味的ルールを定義する。
• キーワードマッチング、パターンマッチング、臨床推論ルールの組み合わせを用いて登録資格を評価する。
• 否定（例：「糖尿病の既往なし」）や時間的修飾語（例：「過去6か月以内に」）などの複雑な言語的構造を処理するようにルールを設計する。
• パイプラインは、再トレーニングなしに異なる臨床試験基準に適応可能な汎用的設計である。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングに依存せずに、ルールベースのシステムが臨床試験の患者選択において競争力のある性能を達成できるか？
• RQ2 汎用的なルールベースアプローチは、多様で複雑な登録基準をどれほど効果的に処理できるか？
• RQ3 ルールベースシステムは、異なる臨床試験基準や臨床ノートの種別にどれほど一般化できるか？
• RQ4 否定や時間的表現などの言語的複雑さが、ルールベースの患者選択の正確性に与える影響はどの程度か？
• RQ5 n2c2 2018チャレンジにおいて、ルールベースの性能はディープラーニングモデルと比べてどうか？

主な発見

• ルールベースシステムは、n2c2 2018チャレンジのテストセットにおいて平均F1スコア0.89を達成し、高い性能を示した。
• チャレンジにおいて45チーム中8位にランクされ、より複雑なモデルと比較しても競争力のある結果を示した。
• 否定、時間的表現、修飾語などの複雑な言語現象を効果的に処理できた。
• 汎用的な設計のおかげで、再トレーニングなしに多様な臨床試験基準に適用可能であった。
• 慎重に設計されたルールベースシステムは、臨床試験の患者選択において非常に効果的であることが示された。
• システムのパフォーマンスは、臨床NLPタスクにおいて言語的正確さと構造化されたルール設計の価値を強調している。