[論文レビュー] Minimum Sample Size for Developing a Multivariable Prediction Model using Multinomial Logistic Regression

Alexander Pate, Richard D Riley+5 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Statistical Modeling Techniques被引用数 11

ひとこと要約

本稿では、多項ロジスティック回帰を用いた多変量予測モデルを開発するための3つのサンプルサイズ基準を提案する。主な目的は、過適合の低減、R² Nagelkerkeの判別能の維持、および正確なリスク推定の確保に焦点を当てる。シミュレーションと臨床例を通じて、全体のモデルではなく、個々の1対1の部分モデルのCox-Snell R²に基づいてサンプルサイズを決定すべきであることを示し、RおよびStata用の実装コードを提供する。

ABSTRACT

Multinomial logistic regression models allow one to predict the risk of a categorical outcome with more than 2 categories. When developing such a model, researchers should ensure the number of participants (n) is appropriate relative to the number of events (E.k) and the number of predictor parameters (p.k) for each category k. We propose three criteria to determine the minimum n required in light of existing criteria developed for binary outcomes. The first criteria aims to minimise the model overfitting. The second aims to minimise the difference between the observed and adjusted R2 Nagelkerke. The third criterion aims to ensure the overall risk is estimated precisely. For criterion (i), we show the sample size must be based on the anticipated Cox-snell R2 of distinct one-to-one logistic regression models corresponding to the sub-models of the multinomial logistic regression, rather than on the overall Cox-snell R2 of the multinomial logistic regression. We tested the performance of the proposed criteria (i) through a simulation study, and found that it resulted in the desired level of overfitting. Criterion (ii) and (iii) are natural extensions from previously proposed criteria for binary outcomes. We illustrate how to implement the sample size criteria through a worked example considering the development of a multinomial risk prediction model for tumour type when presented with an ovarian mass. Code is provided for the simulation and worked example. We will embed our proposed criteria within the pmsampsize R library and Stata modules.

研究の動機と目的

• 多変量予測モデル開発における多項ロジスティック回帰のための確立されたサンプルサイズガイドラインの欠如に対処すること。
• 過適合や不良なモデル性能を回避するため、予測子パラメータおよびカテゴリごとのイベント数に比して適切なサンプルサイズを確保すること。
• 既存の二値アウトカム用サンプルサイズ基準を多項設定に拡張し、過適合、判別能（R² Nagelkerke）、リスク推定の正確性に焦点を当てる。
• 卵巣マスの腫瘍タイプ予測という実世界の臨床例を用いて、シミュレーションと実際の応用を通じて実用的で実装可能な基準を提供すること。
• pmsampsize RライブラリおよびStataモジュールを通じて、広く使用されている統計ソフトウェアに提案基準を統合すること。

提案手法

• 過適合の低減、観測済みと補正済みR² Nagelkerkeの差の最小化、全体的リスク推定の正確性の確保の3つの明確なサンプルサイズ基準を提案する。
• 過適合基準については、全体の多項モデルのR²ではなく、各アウトカムカテゴリ用の1対1ロジスティック回帰部分モデルのCox-Snell R²に基づいて必要なサンプルサイズを導出する。
• 過適合基準の性能を検証するためにシミュレーションスタディを実施し、得られたサンプルサイズが所望の過適合レベルに達しているかを評価する。
• 二値アウトカム用の既存ルール（例：予測子1つあたり10イベント、20イベント）を、カテゴリ別イベント数と予測子パラメータに適応して多項アウトカムに拡張する。
• 卵巣マス特徴から腫瘍タイプを予測する臨床データセットを用いたステップバイステップの実例を提示し、基準の適用方法を説明する。
• サンプルサイズ計算の実装を可能にする、RおよびStata用のオープンソースコードを開発・公開し、再現性と利用可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 多項ロジスティック回帰予測モデルにおける過適合を防ぐために必要な最小サンプルサイズは何か？
• RQ2 多項ロジスティック回帰モデルにおいて、観測済みR² Nagelkerkeと補正済みR² Nagelkerkeの差を最小化するにはどうすればよいか？
• RQ3 多項予測モデルにおける全体的リスク推定の正確性を確保するにはどのサンプルサイズが必要か？
• RQ4 Cox-Snell R²と全体のR²のどちらを用いるかが、多項ロジスティック回帰におけるサンプルサイズ要件に与える影響は何か？
• RQ5 既存の二値アウトカム用サンプルサイズルールを、適切な調整を加えることで多項アウトカムに意味的に拡張できるか？

主な発見

• 過適合を最小限に抑えるために必要なサンプルサイズは、全体の多項モデルR²ではなく、各アウトカムカテゴリ用の1対1部分モデルのCox-Snell R²に基づくべきである。
• シミュレーション結果から、提案された過適合基準が所望の過適合レベルを的確に達成していることが確認され、その信頼性が裏付けられた。
• 第二および第三の基準（R² Nagelkerkeの差の最小化、全体的リスク推定の正確性の確保）は、既存の二値アウトカム用サンプルサイズルールの自然な拡張である。
• 実例を通じて、本基準が卵巣マス特徴から腫瘍タイプを予測する実世界の臨床状況において実際に応用可能であることが示された。
• 提案基準はpmsampsize RライブラリおよびStataモジュールとして実装・公開されており、研究者による利用が容易になった。
• 本研究は、多項ロジスティック回帰のサンプルサイズを決定するにあたり、カテゴリ別イベント数と部分モデルのパフォーマンスを考慮することが重要であることを強調している。