[論文レビュー] Performance of multilabel machine learning models and risk stratification schemas for predicting stroke and bleeding risk in patients with non-valvular atrial fibrillation

Juan Lu, R. Hutchens+10 more|arXiv (Cornell University)|Feb 2, 2022

Atrial Fibrillation Management and Outcomes被引用数 5

ひとこと要約

本研究では、非僧帽弁性心房細動（NVAF）患者における脳卒中、重症出血、死亡の予測に、多ラベル機械学習（ML）モデルを、標準的な臨床的リスクスコアと比較して評価した。多ラベル勾配ブースティングマシンは、CHA2DS2-VAScおよびHAS-BLEDを上回り、重症出血（AUC 0.709 対 0.522）および死亡（AUC 0.765 対 0.606）の識別能が顕著に向上した。また、ヘモグロビンや腎機能といった新たなリスク特徴が同定された。

ABSTRACT

Appropriate antithrombotic therapy for patients with atrial fibrillation (AF) requires assessment of ischemic stroke and bleeding risks. However, risk stratification schemas such as CHA2DS2-VASc and HAS-BLED have modest predictive capacity for patients with AF. Machine learning (ML) techniques may improve predictive performance and support decision-making for appropriate antithrombotic therapy. We compared the performance of multilabel ML models with the currently used risk scores for predicting outcomes in AF patients. Materials and Methods This was a retrospective cohort study of 9670 patients, mean age 76.9 years, 46% women, who were hospitalized with non-valvular AF, and had 1-year follow-up. The primary outcome was ischemic stroke and major bleeding admission. The secondary outcomes were all-cause death and event-free survival. The discriminant power of ML models was compared with clinical risk scores by the area under the curve (AUC). Risk stratification was assessed using the net reclassification index. Results Multilabel gradient boosting machine provided the best discriminant power for stroke, major bleeding, and death (AUC = 0.685, 0.709, and 0.765 respectively) compared to other ML models. It provided modest performance improvement for stroke compared to CHA2DS2-VASc (AUC = 0.652), but significantly improved major bleeding prediction compared to HAS-BLED (AUC = 0.522). It also had a much greater discriminant power for death compared with CHA2DS2-VASc (AUC = 0.606). Also, models identified additional risk features (such as hemoglobin level, renal function, etc.) for each outcome. Conclusions Multilabel ML models can outperform clinical risk stratification scores for predicting the risk of major bleeding and death in non-valvular AF patients.

研究の動機と目的

• 非僧帽弁性心房細動（NVAF）患者における複数の有害事象を予測する多ラベル機械学習（ML）モデルの性能を評価すること。
• MLモデルの識別能を、脳卒中、重症出血、死亡の予測において、標準的な臨床的リスクスコア（CHA2DS2-VAScおよびHAS-BLED）と比較すること。
• MLを用いて、従来のリスク因子を超える追加の臨床的特徴が、予後予測に寄与することを同定すること。
• ネット再分類改善指標および識別力指標を用いて、MLモデルの臨床的有用性を評価すること。

提案手法

• 1年間のフォローアップを含む9,670例のNVAF患者を対象とした後向きコhort研究を実施した。
• 脳卒中、重症出血、死亡を同時に予測するために、勾配ブースティング、ランダムフォレスト、ニューラルネットワークを含む多ラベル機械学習モデルを用いた。
• 各アウトカムの受信者操作特性曲線下積分（AUC）を用いてモデルの性能を評価した。
• 従来のスコアとの比較において、リスク分類の改善を評価するためにネット再分類インデックス（NRI）を適用した。
• 特徴重要度スコアなどのモデル解釈技術を用いて、重要な予測特徴を同定した。
• CH2DS2-VASc（脳卒中リスク）およびHAS-BLED（出血リスク）スコアを基準となる臨床ツールとして、モデル出力と比較した。

実験結果

リサーチクエスチョン

• RQ1 多ラベル機械学習モデルは、NVAF患者における虚血性脳卒中の予測において、CHA2DS2-VAScおよびHAS-BLEDと比較してどのように異なるか？
• RQ2 多ラベルMLモデルは、HAS-BLEDスコアを上回って重症出血の予測を改善できるか？
• RQ3 多ラベルモデルは、CHA2DS2-VAScと比較して、全死亡に対する識別能をより高められるか？
• RQ4 MLモデルは、NVAF患者における脳卒中、出血、死亡の予測に寄与する新たな臨床的特徴をどのように同定するか？
• RQ5 MLモデルは、標準的な臨床的リスクスコアと比較して、リスク再分類をどの程度改善するか？

主な発見

• 多ラベル勾配ブースティングマシンが最高の識別力を持ち、脳卒中（AUC 0.685）、重症出血（AUC 0.709）、全死亡（AUC 0.765）の各アウトカムで高い性能を示した。
• このモデルは、HAS-BLEDによる重症出血予測（AUC 0.709 対 0.522）において顕著に優れており、識別能の大幅な向上を示した。
• また、全死亡予測においても、CHA2DS2-VAScを著しく上回った（AUC 0.765 対 0.606）、予後予測の価値が向上したことを示唆した。
• ヘモグロビン値や腎機能といった臨床的に関連するリスク特徴が、有害事象の予測に重要な予測因子として同定された。
• ネット再分類改善分析により、MLモデルが従来のスコアよりもより正確なリスクカテゴリに患者を再分類できることを確認した。
• 多ラベルモデリングにより、単一アウトカムモデルよりも包括的なリスク評価が可能になり、複数のアウトカムを同時に予測することができた。