[論文レビュー] Text Classification of Cancer Clinical Trial Eligibility Criteria

Yumeng Yang, Soumya Jayaraj+2 more|PubMed|Sep 14, 2023

Biomedical Text Mining and Ontologies参考文献 37被引用数 7

ひとこと要約

本研究では、764件のフェーズIIIがん臨床試験の登録基準から、前回のがん、HIV、B型・C型肝炎、精神疾患、薬物乱用、自己免疫疾患の7つの一般的な臨床試験除外基準を自動的に同定するため、BERTベースのテキスト分類モデルを開発および評価した。提案されたClinicalTrialBERTモデルは、50万件にのぼる試験登録セクションを事前学習したことで、最先端の性能を達成し、臨床試験NLPタスクにおけるドメイン特化型事前学習の実現可能性と有効性を示した。

ABSTRACT

Automatic identification of clinical trials for which a patient is eligible is complicated by the fact that trial eligibility are stated in natural language. A potential solution to this problem is to employ text classification methods for common types of eligibility criteria. In this study, we focus on seven common exclusion criteria in cancer trials: prior malignancy, human immunodeficiency virus, hepatitis B, hepatitis C, psychiatric illness, drug/substance abuse, and autoimmune illness. Our dataset consists of 764 phase III cancer trials with these exclusions annotated at the trial level. We experiment with common transformer models as well as a new pre-trained clinical trial BERT model. Our results demonstrate the feasibility of automatically classifying common exclusion criteria. Additionally, we demonstrate the value of a pre-trained language model specifically for clinical trials, which yield the highest average performance across all criteria.

研究の動機と目的

• 自然言語で記述された非構造的で自由記述の登録基準のため、がん臨床試験における患者-試験マッチングが人的に手間がかかり、時間がかかるという課題に対処すること。
• 臨床試験登録簿の自由記述型登録基準から、重要な除外基準を同定できる自動テキスト分類モデルを開発すること。
• 一般用途およびドメイン特化型BERTモデルの、フェーズIIIのがん臨床試験における7つの一般的な除外基準の分類性能を評価すること。
• 臨床試験登録基準に特化して微調整された、新たな事前学習言語モデルであるClinicalTrialBERTを構築し、リリースすること。
• ClinicalTrials.govと試験プロトコル・発表論文との間で、除外基準の報告にどのような乖離が生じているかを調査すること。

提案手法

• ClinicalTrials.govから764件のフェーズIIIのがん臨床試験を収集し、7つの除外基準の有無をラベル付けした。
• アノテート済みデータセット上で、5つの最先端のドメイン特化型BERTモデル（新規に事前学習したClinicalTrialBERTを含む）を微調整した。
• ClinicalTrials.govから抽出した約50万件の登録基準セクションを用いて、ClinicalTrialBERTを事前学習し、ドメイン特化型表現学習を強化した。
• すべての7つの除外基準について、試験レベルおよび基準レベルでの精度、再現率、F1スコアを用いてモデルの性能を評価した。
• 事前学習言語モデルを臨床試験テキスト分類タスクに適応させるために、トランスファー学習技術を採用した。
• 初期アノテーションフェーズで高い再現率を確保するため、キーワードベースのヒューリスティクスを用いた。

実験結果

リサーチクエスチョン

• RQ1 自然言語で記述されたがん臨床試験の登録基準における一般的な除外基準を、BERTベースのモデルが効果的に分類できるか？
• RQ2 ドメイン特化型事前学習言語モデル（ClinicalTrialBERT）は、一般用途および他のドメイン特化型BERTモデルと比較して、これらの基準の分類においてどのように異なるか？
• RQ3 曖昧な表現や言い換え表現を含む基準において、モデルの性能指標（精度、再現率、F1）はどの程度変動するか？
• RQ4 ClinicalTrials.gov、試験プロトコル、および発表論文の間で、除外基準の報告はどの程度一貫しているか？
• RQ5 提案されたフレームワークは、がん以外の臨床試験に一般化可能か、また現在の7つの基準を超えて追加基準を含められるか？

主な発見

• ClinicalTrialBERTモデルは、すべての7つの除外基準において最高の平均F1スコアを達成し、臨床試験登録テキストに特化した事前学習の価値を示した。
• 最高性能を示したモデルは、F1スコアが0.94から1.00の範囲にあり、除外基準の分類において高い精度と再現率を示した。
• 本研究では、トランスフォーマーに基づくモデルを用いたテキスト分類が、がん臨床試験における重要な除外基準の同定に実現可能で効果的であると確認した。
• 多くの試験で、ClinicalTrials.gov、プロトコル、発表論文の間で除外基準の報告に一貫性がなく、公開登録簿におけるデータ品質の問題を浮き彫りにした。
• 結果から、本アプローチは、特に大規模に適用された場合に、患者-試験マッチングにおける人的作業を顕著に削減できる可能性があると示唆された。
• ClinicalTrialBERTの開発により、本研究を越えて将来的な臨床試験NLPアプリケーションに再利用可能な、高性能な基盤モデルが得られた。