[论文解读] Evaluating Hospital Case Cost Prediction Models Using Azure Machine Learning Studio

Alexei Botchkarev|arXiv (Cornell University)|Apr 4, 2018

Pressure Ulcer Prevention and Management参考文献 3被引用 3

一句话总结

本文提出了一种基于 Azure Machine Learning Studio 的工具，可快速评估 14 种回归模型在医院病例费用预测中的表现。结果表明，稳健回归、提升决策树和决策森林回归在五项性能指标下优于其他模型，为医疗费用预测中的模型比较提供了一个公开可用的统一平台。

ABSTRACT

Ability for accurate hospital case cost modelling and prediction is critical for efficient health care financial management and budgetary planning. A variety of regression machine learning algorithms are known to be effective for health care cost predictions. The purpose of this experiment was to build an Azure Machine Learning Studio tool for rapid assessment of multiple types of regression models. The tool offers environment for comparing 14 types of regression models in a unified experiment: linear regression, Bayesian linear regression, decision forest regression, boosted decision tree regression, neural network regression, Poisson regression, Gaussian processes for regression, gradient boosted machine, nonlinear least squares regression, projection pursuit regression, random forest regression, robust regression, robust regression with mm-type estimators, support vector regression. The tool presents assessment results arranged by model accuracy in a single table using five performance metrics. Evaluation of regression machine learning models for performing hospital case cost prediction demonstrated advantage of robust regression model, boosted decision tree regression and decision forest regression. The operational tool has been published to the web and openly available for experiments and extensions.

研究动机与目标

• 开发一个统一且易于访问的工具，用于比较医院病例费用预测中的多种回归模型。
• 使用真实世界医疗费用数据评估 14 种不同回归算法的性能。
• 在多种性能指标下识别出预测医院病例费用最准确的模型。
• 为医疗管理人员和研究人员提供快速、可复现的模型评估能力。
• 公开发布并共享该工具，以供健康信息学领域进一步扩展和复用。

提出的方法

• 本研究在 Azure Machine Learning Studio 中实现了一个标准化实验，用于在医院费用数据集上训练和评估 14 种回归模型。
• 所有模型均使用相同的训练/测试数据划分和预处理流程进行训练与测试，以确保公平比较。
• 采用五项性能指标——决定系数（R-squared）、平均绝对误差（Mean Absolute Error）、均方根误差（Root Mean Squared Error）、相对平均绝对误差（Relative Absolute Error）和相对均方误差（Relative Squared Error）——来评估模型准确性。
• 将模型评估结果汇总为一张综合对比表格，便于解读。
• 该工具以可访问的 Web 实验形式部署，并公开提供以供复用和扩展。
• 该框架支持在无需重新实现的情况下，快速迭代和比较不同回归算法。

实验结果

研究问题

• RQ1 在使用真实世界数据的情况下，哪些回归模型在预测医院病例费用方面表现最佳？
• RQ2 不同回归算法在医疗费用预测任务中的准确性和鲁棒性如何比较？
• RQ3 Azure ML Studio 中的统一自动化工具能否有效支持快速模型评估与选择？
• RQ4 在此背景下，稳健回归、提升树和基于森林的模型各自具有哪些相对优势？
• RQ5 所提出的工具如何促进健康经济学领域中可复现且透明的模型比较？

主要发现

• 采用 MM 型估计量的稳健回归在所有评估模型中取得了最高准确性。
• 提升决策树回归和决策森林回归分别以第二和第三名的总体表现位居前列。
• 该工具成功实现了使用一致数据和指标对 14 种回归模型进行并排比较。
• 评估结果以一张统一的表格形式呈现，显著提升了可解释性和可用性。
• 实际运行的工具已在线发布，可供进一步实验和扩展。
• 本研究证实，稳健回归和基于树的模型在医院费用预测任务中尤为有效。