[論文レビュー] Natural Language Processing Methods to Identify Oncology Patients at High Risk for Acute Care with Clinical Notes

Claudio Fanconi, Marieke van Buchem+1 more|arXiv (Cornell University)|Sep 28, 2022

Machine Learning in Healthcare被引用数 7

ひとこと要約

本研究では、非構造化臨床ノートを用いた自然言語処理（NLP）手法が、がん患者における急性ケア利用（ACU）を予測する能力を評価し、従来のNLP特徴量とディープラーニングモデルを比較した。結果として、手作業で設計された言語特徴量を用いた$ε_{1}$-正則化ロジスティック回帰（言語LASSO）が、C統計量0.730を達成し、BERTベースのモデル（0.702）を上回り、構造化健康データモデル（0.748）と同等の性能を示した。これは、がん領域におけるクロスサイト対応で、前処理を最小限に抑えたリスク予測の強力な可能性を示している。

ABSTRACT

Clinical notes are an essential component of a health record. This paper evaluates how natural language processing (NLP) can be used to identify the risk of acute care use (ACU) in oncology patients, once chemotherapy starts. Risk prediction using structured health data (SHD) is now standard, but predictions using free-text formats are complex. This paper explores the use of free-text notes for the prediction of ACU instead of SHD. Deep Learning models were compared to manually engineered language features. Results show that SHD models minimally outperform NLP models; an l1-penalised logistic regression with SHD achieved a C-statistic of 0.748 (95%-CI: 0.735, 0.762), while the same model with language features achieved 0.730 (95%-CI: 0.717, 0.745) and a transformer-based model achieved 0.702 (95%-CI: 0.688, 0.717). This paper shows how language models can be used in clinical applications and underlines how risk bias is different for diverse patient groups, even using only free-text data.

研究の動機と目的

• 非構造化臨床ノートのNLPが、がん患者の化学療法開始後の急性ケア利用（ACU）を予測できるかどうかを評価すること。構造化健康データ（SHD）の代替手段としての可能性を検討する。
• 従来のNLP特徴量設計手法と、トランスフォーマーベースのディープラーニングモデル（例：BERT）の間で、ACUリスク予測性能を比較すること。
• 臨床ノートとSHDを組み合わせることで、単独で使用する場合よりも予測性能が向上するかどうかを評価すること。
• 自由テキストデータのみを用いた場合のモデルの解釈可能性と、患者サブグループにおけるリスクバイアスの有無を調査すること。

提案手法

• 単一の学術的がんセンターの電子歴史記録（Epic Systems）から、入院時および経過ノートを収集・前処理し、100語未満または5,000語を超えるノート、および臨床試験参加同意書のコピーを含むノートは除外した。
• 各患者について、化学療法開始の180日前から最新の3つのノートを抽出・集約した。
• spaCyを用いて、エンティティの削除、否定タグ付け、語の原形還元、および頻出2,000語のTF-IDF重み付けを実施し、手作業で設計された言語特徴量を生成した。
• 構造化健康データ（760特徴量）と言語特徴量（言語LASSO）の両方を用いた$ε_{1}$-正則化ロジスティック回帰（LASSO）を訓練し、両モダリティを統合した（Fusion LASSO）。
• 完全な臨床テキストを用いて、BERTベースのトランスフォーマーモデルをACU予測に訓練し、30日、180日、365日後のリスクを同時に予測するためのネストド順序ロジスティック回帰を用いた。
• 以前の研究で得られた固定されたトレイン/テスト分割を用いてモデルを検証し、C統計量とAUROCを報告した。さらに、キャリブレーションプロットとサブグループバイアスに関する感度分析も実施した。

実験結果

リサーチクエスチョン

• RQ1 非構造化臨床ノートのNLPは、構造化健康データ（SHD）モデルと同等またはそれ以上の予測性能を達成できるか？
• RQ2 ディープラーニングベースのトランスフォーマーモデル（例：BERT）は、線形モデルを用いた従来のNLP特徴量設計手法を上回る性能を示すか？
• RQ3 臨床ノートとSHDを組み合わせることで、単独で使用する場合よりもACU予測性能が顕著に向上するか？
• RQ4 LASSOベースのNLPモデルは、ブラックボックス型トランスフォーマーモデルとは異なり、リスク予測の解釈可能性を提供できるか？
• RQ5 明示的な人口統計的要因を入力しないにもかかわらず、自由テキストデータのみを用いた場合に、患者サブグループ間でリスク予測バイアスが検出可能か？

主な発見

• 構造化健康データ（Tabular LASSO）を用いた$ε_{1}$-正則化ロジスティック回帰は、C統計量0.748（95%信頼区間：0.735–0.762）を達成し、手作業で設計された言語特徴量を用いた言語LASSOモデル（C統計量：0.730；95%信頼区間：0.717–0.745）をわずかに上回った。
• BERTベースのモデルはC統計量0.702（95%信頼区間：0.688–0.717）を示し、両LASSOモデルに劣り、断片的な臨床テキストの断片にディープラーニングモデルを訓練する際の課題を示唆した。
• 言語LASSOは、すべての時間間隔でAUROC ≥ 0.700を達成し、構造化データがなくても強力な識別性能を示した。特に180日予測において顕著であった。
• SHDと言語特徴量を統合したFusionモデルは、SHD単体を使用した場合に比べて、顕著な性能向上を示さなかった。これは、この設定において両モダリティを統合することに限界があることを示唆した。
• 感度分析から、人口統計的要因を明示的に使用していないにもかかわらず、患者サブグループ間で潜在的なリスクバイアスが検出された。これは、モデルの展開にあたって注意が必要であることを示している。
• 本研究は、LASSOベースのNLPモデルが特徴量係数を通じて解釈可能性を提供できる一方で、BERTはそのような透明な解釈可能性メカニズムを欠いていることを示した。