[논문 리뷰] Machine learning-based clinical prediction modeling -- A practical guide for clinicians

Julius M. Kernbach, Victor E. Staartjes|arXiv (Cornell University)|2020. 06. 23.

Machine Learning in Healthcare참고 문헌 36인용 수 5

한 줄 요약

이 논문은 임상의가 기계학습 기반 임상 예측 모델을 구축하고 평가하는 데 실용적이고 단계적인 가이드를 제공한다. 데이터 전처리, 특징 선택, 재표본화, 모델 검증, 보고 방식을 포함한다. 임상 적용을 보장하기 위해 방법론적 엄밀함, 일반화 가능성, 투명성을 강조하며, 완전한 R 코드 파이프라인과 실제 뇌신생물증 환자 데이터셋 예제를 지원한다.

ABSTRACT

In the emerging era of big data, larger available clinical datasets and computational advances have sparked a massive interest in machine learning-based approaches. The number of manuscripts related to machine learning or artificial intelligence has exponentially increased over the past years. As analytical machine learning tools become readily available for clinicians to use, the understanding of key concepts and the awareness of analytical pitfalls are increasingly required for clinicians, investigators, reviewers and editors, who even as experts in their clinical field, sometimes find themselves insufficiently equipped to evaluate machine learning methodologies. In the first section, we provide explanations on the general principles of machine learning, as well as analytical steps required for successful machine learning-based predictive modelling - which is the focus of this series. In further sections, we review the importance of resampling, overfitting and model generalizability as well as feature reduction and selection (Part II), strategies for model evaluation, reporting and discussion of common caveats and other points of significance (Part III), as well as offer a practical guide to classification (Part IV) and regression modelling (Part V), with a complete coding pipeline. Methodological rigor and clarity as well as understanding of the underlying reasoning of the internal workings of a machine learning approach are required, otherwise predictive applications despite being strong analytical tools are not well accepted into the clinical routine. Going forward, machine learning and artificial intelligence shape and influence modern medicine across disciplines including the field of neurosurgery.

연구 동기 및 목표

• 의료 분야에서 예측 모델링을 위한 명확하고 실행 가능한 가이드를 제공함으로써 임상의와 기계학습 간 격차를 메우는 것.
• 과적합, 낮은 일반화 능력, 잘못된 모델 평가와 같은 일반적인 방법론적 함정을 해결하기 위한 것.
• 임상적 신뢰도와 수용을 높이기 위해 기계학습 모델 보고의 방법론적 엄밀함과 투명성을 증진시키기 위한 것.
• 분류 및 회귀 작업 모두에 대해 실제 임상 데이터셋(예: 뇌신생물증 데이터셋)을 활용한 완전하고 재현 가능한 R 기반 코드 파이프라인을 제공하기 위한 것.
• 임상의, 심사위원, 편집자들이 의료 문헌에 발표된 기계학습 연구를 비판적으로 평가할 수 있도록 지식을 제공하기 위한 것.

제안 방법

• 임상 데이터에 맞춘 핵심 기계학습 원리를 소개하며, 주로 예측 작업을 위한 지도 학습에 중점을 둔다.
• 구조화된 워크플로우를 제시함: 데이터 준비, 특징 선택, 모델 훈련, 재표본화(예: 교차검증), 성능 평가.
• 모델의 일반화 능력을 평가하고 과적합을 줄이기 위해 k-폴드 교차검증과 같은 재표본화 기법의 사용을 강조한다.
• 특징 감소 및 선택 방법을 적용하여 고차원 임상 데이터에서 모델의 해석 가능성과 성능을 향상시킨다.
• 실제 임상 데이터(뇌신생물증 데이터셋)를 사용하여 분류 및 회귀 모델 모두에 대한 완전한 R 기반 구현 파이프라인을 제공한다.
• 보고 기준과 투명성에 중점을 두며, 모델 평가 시 효과 크기, 캘리브레이션, 분류 능력, 신뢰구간을 포함한다.

실험 결과

연구 질문

• RQ1 통계나 프로그래밍에 깊은 전문 지식이 없어도 임상의가 기계학습 모델을 신뢰성 있게 개발할 수 있는 방법은 무엇인가?
• RQ2 임상 기계학습에서 일반적인 방법론적 함정은 무엇이며, 모델 개발 및 검증 과정에서 이를 어떻게 피할 수 있는가?
• RQ3 교차검증과 같은 재표본화 기법을 통해 모델의 일반화 능력을 어떻게 평가하고 향상시킬 수 있는가?
• RQ4 고차원성의 임상 데이터셋에서 특징 선택 및 감소의 최선의 실천 방법은 무엇인가?
• RQ5 임상적 관련성과 신뢰성을 확보하기 위해 기계학습 모델은 어떻게 보고하고 해석해야 하는가?

주요 결과

• 과적합을 방지하고 모델의 일반화 능력을 확보하기 위해 k-폴드 교차검증과 같은 적절한 재표본화 기법이 필수적이다.
• 특징 선택은 관련성이 낮거나 상관관계가 높은 예측 변수가 많은 데이터셋에서 모델 성능과 해석 가능성을 크게 향상시킨다.
• 과적합은 여전히 임상 기계학습에서 주요 위험 요소이며, 특히 모델 복잡도가 데이터 크기를 초과할 경우 발생할 수 있으며, 철저한 검증을 통해 완화할 수 있다.
• 정확도 이외의 성능 평가를 위해 캘리브레이션 및 분류 능력 지표(예: c-통계량, 브라이어 스코어)의 포함이 매우 중요하다.
• 완전하고 재현 가능한 R 기반 코드 파이프라인은 투명성을 높이고 임상 연구에서 기계학습의 수용을 촉진한다.
• 의료 모델의 유효성과 임상적 유용성을 비판적으로 평가하기 위해 임상의와 심사위원 모두가 기계학습 분야의 방법론적 숙련도를 향상시킬 필요가 있다.