[论文解读] Minimum Sample Size for Developing a Multivariable Prediction Model using Multinomial Logistic Regression

Alexander Pate, Richard D Riley+5 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Statistical Modeling Techniques被引用 11

一句话总结

本文提出了三种用于使用多项对数几率回归开发多变量预测模型的样本量标准，重点在于最小化过度拟合、保持R² Nagelkerke区分度以及确保风险估计的精确性。通过模拟和一个临床实例表明，样本量应基于各个一对一子模型的Cox-Snell R²，而非整体模型的R²，文中提供了R和Stata的实现代码。

ABSTRACT

Multinomial logistic regression models allow one to predict the risk of a categorical outcome with more than 2 categories. When developing such a model, researchers should ensure the number of participants (n) is appropriate relative to the number of events (E.k) and the number of predictor parameters (p.k) for each category k. We propose three criteria to determine the minimum n required in light of existing criteria developed for binary outcomes. The first criteria aims to minimise the model overfitting. The second aims to minimise the difference between the observed and adjusted R2 Nagelkerke. The third criterion aims to ensure the overall risk is estimated precisely. For criterion (i), we show the sample size must be based on the anticipated Cox-snell R2 of distinct one-to-one logistic regression models corresponding to the sub-models of the multinomial logistic regression, rather than on the overall Cox-snell R2 of the multinomial logistic regression. We tested the performance of the proposed criteria (i) through a simulation study, and found that it resulted in the desired level of overfitting. Criterion (ii) and (iii) are natural extensions from previously proposed criteria for binary outcomes. We illustrate how to implement the sample size criteria through a worked example considering the development of a multinomial risk prediction model for tumour type when presented with an ovarian mass. Code is provided for the simulation and worked example. We will embed our proposed criteria within the pmsampsize R library and Stata modules.

研究动机与目标

• 为多变量预测模型开发中多项对数几率回归的样本量缺乏既定指导方针提供解决方案。
• 确保样本量相对于预测变量参数和每类别的事件数足够，以防止过度拟合和模型性能不佳。
• 将现有的二分类结果样本量标准扩展至多项式情形，重点关注过度拟合、区分度（R² Nagelkerke）和风险估计精确度。
• 通过模拟和卵巢肿块肿瘤类型预测的真实临床实例，提供实用且可实施的标准。
• 通过pmsampsize R库和Stata模块将所提标准集成到广泛使用的统计软件中。

提出的方法

• 提出三种不同的样本量标准：最小化过度拟合、最小化观察值与调整后R² Nagelkerke之间的差异、确保整体风险估计的精确性。
• 针对过度拟合标准，基于每个结果类别的单对单逻辑回归子模型的Cox-Snell R²推导所需样本量，而非整体多项式模型的R²。
• 通过模拟研究验证过度拟合标准的性能，评估由此产生的样本量是否达到目标过度拟合水平。
• 通过将既有的二分类结果样本量规则（如每预测变量10个事件、20个事件）适配至类别特定事件数和预测变量参数，将其扩展至多项式结果。
• 提供一个逐步演示示例，使用临床数据集基于卵巢肿块特征预测肿瘤类型，展示标准的应用。
• 开发并发布R和Stata的开源代码，用于实现样本量计算，确保可重复性和可用性。

实验结果

研究问题

• RQ1 防止多项对数几率回归预测模型过度拟合所需的最小样本量是多少？
• RQ2 如何在多项对数几率回归模型中最小化观察R²与调整后R² Nagelkerke之间的差异？
• RQ3 何种样本量可确保多项预测模型中整体风险估计的精确性？
• RQ4 R²度量标准的选择（Cox-Snell与整体R²）如何影响多项对数几率回归中的样本量需求？
• RQ5 现有的二分类结果样本量规则能否通过适当调整有意义地扩展至多项结果？

主要发现

• 为最小化过度拟合而所需的样本量应基于每个结果类别的单对单子模型的Cox-Snell R²，而非整体多项式模型的R²。
• 模拟结果证实，所提出的过度拟合标准成功达到了预期的过度拟合水平，验证了其可靠性。
• 第二和第三项标准——最小化R² Nagelkerke差异和确保精确风险估计——是现有二分类结果样本量规则的自然延伸。
• 演示示例展示了这些标准在基于卵巢肿块特征预测肿瘤类型的现实临床场景中的实际应用。
• 所提标准已集成并可在pmsampsize R库和Stata模块中使用，提升了研究人员的可及性。
• 本研究强调了在确定多项对数几率回归样本量时，应考虑类别特定事件数和子模型性能的重要性。