[논문 리뷰] Performance of multilabel machine learning models and risk stratification schemas for predicting stroke and bleeding risk in patients with non-valvular atrial fibrillation

Juan Lu, R. Hutchens외 10명|arXiv (Cornell University)|2022. 02. 02.

Atrial Fibrillation Management and Outcomes인용 수 5

한 줄 요약

이 연구는 비판성 심방세동(NVAF) 환자에서 뇌졸중, 중대한 출혈, 사망을 예측하기 위한 다중 레이블 기계학습(ML) 모델의 성능을 평가하며, 기존 임상 위험 점수와 비교한다. 다중 레이블 기울기 부스팅 머신이 CHA2DS2-VASc 및 HAS-BLED를 능가하여 중대한 출혈(AUC 0.709 대 0.522)과 사망(AUC 0.765 대 0.606) 예측에서 유의미하게 향상된 분류 성능를 보였으며, 헤모글로빈과 신기능과 같은 새로운 위험 특징을 규명하였다.

ABSTRACT

Appropriate antithrombotic therapy for patients with atrial fibrillation (AF) requires assessment of ischemic stroke and bleeding risks. However, risk stratification schemas such as CHA2DS2-VASc and HAS-BLED have modest predictive capacity for patients with AF. Machine learning (ML) techniques may improve predictive performance and support decision-making for appropriate antithrombotic therapy. We compared the performance of multilabel ML models with the currently used risk scores for predicting outcomes in AF patients. Materials and Methods This was a retrospective cohort study of 9670 patients, mean age 76.9 years, 46% women, who were hospitalized with non-valvular AF, and had 1-year follow-up. The primary outcome was ischemic stroke and major bleeding admission. The secondary outcomes were all-cause death and event-free survival. The discriminant power of ML models was compared with clinical risk scores by the area under the curve (AUC). Risk stratification was assessed using the net reclassification index. Results Multilabel gradient boosting machine provided the best discriminant power for stroke, major bleeding, and death (AUC = 0.685, 0.709, and 0.765 respectively) compared to other ML models. It provided modest performance improvement for stroke compared to CHA2DS2-VASc (AUC = 0.652), but significantly improved major bleeding prediction compared to HAS-BLED (AUC = 0.522). It also had a much greater discriminant power for death compared with CHA2DS2-VASc (AUC = 0.606). Also, models identified additional risk features (such as hemoglobin level, renal function, etc.) for each outcome. Conclusions Multilabel ML models can outperform clinical risk stratification scores for predicting the risk of major bleeding and death in non-valvular AF patients.

연구 동기 및 목표

• 비판성 심방세동(NVAF) 환자에서 다중 부작용 결과를 예측하기 위한 다중 레이블 기계학습 모델의 성능 평가
• CHA2DS2-VASc 및 HAS-BLED와 같은 기존 임상 위험 점수와의 비교를 통해 뇌졸중, 중대한 출혈, 사망에 대한 분류 능력 평가
• 기존 위험 요소를 초월하여 결과 예측에 기여하는 추가적인 임상적 특징 규명을 위한 기계학습 기반 분석
• 넷 재분류 개선 및 분류 능력 지표를 통한 기계학습 모델의 임상적 유용성 평가

제안 방법

• 1년 추적 관찰 기간을 포함한 9,670명의 NVAF 환자를 대상으로 한 후향적 코hort 연구 수행
• 뇌졸중, 중대한 출혈, 사망을 동시에 예측하기 위해 기울기 부스팅, 랜덤 포레스트, 신경망을 포함한 다중 레이블 기계학습 모델 사용
• 각 결과에 대해 수신기 작동 특성 곡선 아래 면적(AUC)을 사용하여 모델 성능 평가
• 기존 점수 대비 위험 분류 향상 정도 평가를 위해 넷 재분류 지수(NRI) 적용
• 특징 중요도 점수와 같은 모델 해석 기법을 통해 중요한 예측 특징 규명
• 기준 임상 도구로 CHA2DS2-VASc(뇌졸중 위험) 및 HAS-BLED(출혈 위험) 점수와 모델 출력 비교

실험 결과

연구 질문

• RQ1 다중 레이블 기계학습 모델은 NVAF 환자에서 뇌졸중을 예측하는 데 CHA2DS2-VASc 및 HAS-BLED와 비교하여 어떻게 성능을 보이는가?
• RQ2 다중 레이블 ML 모델은 HAS-BLED 점수를 초월하여 중대한 출혈 예측을 향상시킬 수 있는가?
• RQ3 다중 레이블 모델은 CHA2DS2-VASc보다 전원 사망에 대해 더 우수한 분류 성능를 보이는가?
• RQ4 ML 모델은 NVAF 환자에서 뇌졸중, 출혈 또는 사망 예측에 있어 어떤 새로운 임상적 특징을 규명하는가?
• RQ5 ML 모델은 기존 임상 위험 점수에 비해 위험 재분류를 어느 정도 향상시키는가?

주요 결과

• 다중 레이블 기울기 부스팅 머신이 가장 높은 분류 능력을 보였으며, 뇌졸중(AUC 0.685), 중대한 출혈(AUC 0.709), 전원 사망(AUC 0.765)에 대해 각각의 AUC 기록
• 모델은 HAS-BLED에 비해 중대한 출혈 예측에서 유의미하게 뛰어난 성능를 보였으며(AUC 0.709 대 0.522), 분류 능력 향상이 뚜렷하였다.
• 또한 CHA2DS2-VASc에 비해 사망 예측에서 뚜렷한 성능 향상을 보였으며(AUC 0.765 대 0.606), 예후 가치 향상이 확인되었다.
• 모델은 뇌졸중, 출혈, 사망의 부작용 결과 예측에 있어 헤모글로빈 수치와 신기능과 같은 임상적으로 유의미한 위험 특징을 중요한 예측 요소로 규명하였다.
• 넷 재분류 개선 분석 결과, 기존 점수 대비 더 정확한 위험 분류로 환자를 재분류하는 데 기여함을 확인하였다.
• 다중 레이블 모델링을 통해 다중 결과를 동시에 예측할 수 있어 단일 결과 모델보다 더 종합적인 위험 평가가 가능하였다.