[論文レビュー] Extracting Lifestyle Factors for Alzheimer's Disease from Clinical Notes Using Deep Learning with Weak Supervision

Zitao Shen, Yoonkwon Yi+4 more|arXiv (Cornell University)|Jan 22, 2021

Machine Learning in Healthcare参考文献 19被引用数 4

ひとこと要約

本研究では、事前学習されたBERTモデルを用いた弱教師あり深層学習手法を提案し、アルツハイマー病（AD）の臨床ノートから運動や過度な食事制限などのライフスタイル要因を非構造化テキストから抽出する。ルールベースのラベリングを活用して弱教師あり学習を実施し、物理的活動のF1スコアは0.96、過度な食事制限のF1スコアは1.00を達成した。これにより、電子歴史記録（EHR）におけるADのリスク要因分析に向けたスケーラブルで正確なNLPの実現可能性が示された。

ABSTRACT

Since no effective therapies exist for Alzheimer's disease (AD), prevention has become more critical through lifestyle factor changes and interventions. Analyzing electronic health records (EHR) of patients with AD can help us better understand lifestyle's effect on AD. However, lifestyle information is typically stored in clinical narratives. Thus, the objective of the study was to demonstrate the feasibility of natural language processing (NLP) models to classify lifestyle factors (e.g., physical activity and excessive diet) from clinical texts. We automatically generated labels for the training data by using a rule-based NLP algorithm. We conducted weak supervision for pre-trained Bidirectional Encoder Representations from Transformers (BERT) models on the weakly labeled training corpus. These models include the BERT base model, PubMedBERT(abstracts + full text), PubMedBERT(only abstracts), Unified Medical Language System (UMLS) BERT, Bio BERT, and Bio-clinical BERT. We performed two case studies: physical activity and excessive diet, in order to validate the effectiveness of BERT models in classifying lifestyle factors for AD. These models were compared on the developed Gold Standard Corpus (GSC) on the two case studies. The PubmedBERT(Abs) model achieved the best performance for physical activity, with its precision, recall, and F-1 scores of 0.96, 0.96, and 0.96, respectively. Regarding classifying excessive diet, the Bio BERT model showed the highest performance with perfect precision, recall, and F-1 scores. The proposed approach leveraging weak supervision could significantly increase the sample size, which is required for training the deep learning models. The study also demonstrates the effectiveness of BERT models for extracting lifestyle factors for Alzheimer's disease from clinical notes.

研究の動機と目的

• アルツハイマー病（AD）研究における電子歴史記録（EHR）の非構造化臨床ノートからライフスタイル要因を抽出する課題に対処すること。
• ルールベースのラベリングによる弱教師あり学習を採用することで、手作業によるラベル付けにかかる人的コストを低減すること。
• AD関連のライフスタイル要因を分類するための複数の事前学習済みBERTモデルの性能を評価すること。
• 実世界のEHRデータを用いて、ライフスタイル要因のスケーラブルかつコスト効率の良い分析と、それらの要因とADとの関連性を解明すること。
• 今後のADにおけるライフスタイル介入の認知的アウトカムへの因果的影響をモデル化する支援をすること。

提案手法

• 手動ラベル付けを回避するため、ルールベースのNLPアルゴリズムを用いて訓練データの弱ラベルを生成した。
• 6種類のBERTベースのモデルを微調整した：BERT base、PubMedBERT（要約＋本文）、PubMedBERT（要約のみ）、UMLS BERT、Bio-BERT、Bio-clinical BERT。
• 臨床ノートから得た弱ラベル付きコーパスを用いて、BERTモデルの弱教師あり学習を実施した。
• 物理的活動と過度な食事制限の2つの事例研究において、ゴールドスタンダードコーパス（GSC）を用いてモデルの性能を評価した。
• モデルの有効性を比較するために、適合率、再現率、F1スコアを評価指標として用いた。
• 分類誤差のパターンとモデル固有の制限を分析することで、クラス不均衡とモデルの感受性に対処した。

実験結果

リサーチクエスチョン

• RQ1 弱教師あり学習は、臨床ノートからのライフスタイル要因分類において、高い性能を維持しつつ、手作業によるラベル付けの必要性を著しく低減できるか？
• RQ2 物理的活動および過度な食事制限の情報を非構造化EHRテキストから抽出する際、どの事前学習済みBERTモデルが最も優れた性能を示すか？
• RQ3 事前学習コーパスの違い（例：PubMed対臨床テキスト）が、ライフスタイル要因分類におけるモデル性能にどのように影響するか？
• RQ4 モデルの誤分類は、対立する表現（例：「身体的活動あり」対「有酸素運動なし」）や、特定のBERTバージョンにおけるドメイン固有の知識不足に起因する程度はどの程度か？
• RQ5 本手法は、ADリスク要因の相乗効果分析を目的として、複数のライフスタイル要因を同時に抽出するようにスケーラブルに拡張可能か？

主な発見

• 物理的活動分類において最高の性能を示したのはPubMedBERT(Abs)で、F1スコア0.96、適合率0.96、再現率0.96を達成した。
• 過度な食事制限分類において完璧な性能を示したのはBio-BERTで、適合率、再現率、F1スコアともに1.00であった。
• モデルの性能は、事前学習コーパスとデータサイズに大きく依存しており、小さな過度な食事制限データセット（n=886）ではモデル間でのばらつきが顕著に現れた。
• 誤分類の主な原因は、対立する表現（例：「身体的活動あり」対「有酸素運動なし」）と、ドメイン特化BERTが「なし」または「通常」のケースを適切に処理できていないことであった。
• 本研究では、弱教師あり学習が手作業ラベルなしでスケーラブルなモデル学習を可能にし、利用可能な訓練データ量を著しく増加させられることを示した。
• 全体的な性能は高いが、データサイズとクラス不均衡に対するモデル感受性が顕著に現れたことから、今後の研究ではより大規模でバランスの取れたデータセットの構築が不可欠であると示された。