[논문 리뷰] Minimum Sample Size for Developing a Multivariable Prediction Model using Multinomial Logistic Regression

Alexander Pate, Richard D Riley외 5명|arXiv (Cornell University)|2022. 07. 26.

Advanced Statistical Modeling Techniques인용 수 11

한 줄 요약

이 논문은 다변량 예측 모델 개발을 위한 다항 로지스틱 회귀 분석을 사용할 때 과적합을 최소화하고, R² Nagelkerke의 구분 능력을 유지하며 정확한 위험 추정을 보장하기 위해 세 가지 표본 크기 기준을 제안한다. 시뮬레이션과 임상 사례를 통해 전체 모델의 R²가 아닌 개별 일대일 부분 모델의 Cox-Snell R²를 기반으로 표본 크기를 결정해야 한다고 밝히며, R 및 Stata용 구현 코드도 함께 제공한다.

ABSTRACT

Multinomial logistic regression models allow one to predict the risk of a categorical outcome with more than 2 categories. When developing such a model, researchers should ensure the number of participants (n) is appropriate relative to the number of events (E.k) and the number of predictor parameters (p.k) for each category k. We propose three criteria to determine the minimum n required in light of existing criteria developed for binary outcomes. The first criteria aims to minimise the model overfitting. The second aims to minimise the difference between the observed and adjusted R2 Nagelkerke. The third criterion aims to ensure the overall risk is estimated precisely. For criterion (i), we show the sample size must be based on the anticipated Cox-snell R2 of distinct one-to-one logistic regression models corresponding to the sub-models of the multinomial logistic regression, rather than on the overall Cox-snell R2 of the multinomial logistic regression. We tested the performance of the proposed criteria (i) through a simulation study, and found that it resulted in the desired level of overfitting. Criterion (ii) and (iii) are natural extensions from previously proposed criteria for binary outcomes. We illustrate how to implement the sample size criteria through a worked example considering the development of a multinomial risk prediction model for tumour type when presented with an ovarian mass. Code is provided for the simulation and worked example. We will embed our proposed criteria within the pmsampsize R library and Stata modules.

연구 동기 및 목표

• 다변량 예측 모델 개발에서 다항 로지스틱 회귀 분석에 대한 표준 표본 크기 지침의 부재를 해결하기 위해.
• 과적합과 열악한 모델 성능을 방지하기 위해 예측 변수 파rameter 수와 카테고리당 사건 수에 비례한 충분한 표본 크기를 확보하기 위해.
• 기존의 이진 결과 표본 크기 기준을 다항 설정으로 확장하여 과적합, 구분 능력(R² Nagelkerke), 위험 추정 정밀도에 중점을 두기 위해.
• 난소 종양 유형 예측과 같은 실제 임상 사례를 통해 실용적이고 구현 가능한 기준을 제공하기 위해.
• pmsampsize R 라이브러리와 Stata 모듈을 통해 널리 사용되는 통계 소프트웨어에 제안된 기준을 통합하기 위해.

제안 방법

• 과적합 최소화, 관측된 R² Nagelkerke와 조정된 R² Nagelkerke 간 차이 최소화, 전체 위험 추정의 정밀도 보장이라는 세 가지 별도의 표본 크기 기준을 제안한다.
• 과적합 기준의 경우, 전체 다항 모델의 R²가 아닌 각 결과 카테고리에 대한 개별 일대일 로지스틱 회귀 부분 모델의 Cox-Snell R²를 기반으로 필요한 표본 크기를 유도한다.
• 과적합 기준의 성능을 검증하기 위해 시뮬레이션 연구를 수행하여, 도출된 표본 크기가 목표 과적합 수준을 달성하는지 평가한다.
• 기존의 이진 결과 표본 크기 규칙(예: 10개의 사건 per 예측 변수, 20개의 사건 per 예측 변수)을 카테고리별 사건 수와 예측 변수 수에 맞게 조정하여 다항 결과로 확장한다.
• 난소 종양 특성으로부터 종양 유형을 예측하는 임상 데이터셋을 사용한 단계별 적용 예시를 제공하여 기준의 적용 방법을 설명한다.
• 표본 크기 계산을 구현하기 위한 오픈소스 코드를 R 및 Stata에 제공하여 재현 가능성과 사용 용이성을 확보한다.

실험 결과

연구 질문

• RQ1 다항 로지스틱 회귀 예측 모델에서 과적합을 방지하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ2 다항 로지스틱 회귀 모델에서 관측된 R² Nagelkerke와 조정된 R² Nagelkerke 간의 차이를 최소화하는 방법은 무엇인가?
• RQ3 다항 예측 모델에서 전체 위험 추정의 정밀도를 확보하기 위해 필요한 표본 크기는 무엇인가?
• RQ4 Cox-Snell R²와 전체 R² 중 어떤 R² 지표를 선택하느냐가 다항 로지스틱 회귀에서의 표본 크기 요구 조건에 영향을 미치는가?
• RQ5 기존의 이진 결과 표본 크기 규칙을 적절한 조정을 거쳐 다항 결과로 의미 있게 확장할 수 있는가?

주요 결과

• 과적합을 최소화하기 위해 필요한 표본 크기는 전체 다항 모델의 R²가 아니라 각 결과 카테고리에 대한 개별 일대일 부분 모델의 Cox-Snell R²를 기반으로 해야 한다.
• 시뮬레이션 결과는 제안된 과적합 기준이 목표 과적합 수준을 성공적으로 달성함을 확인하여 그 신뢰성을 입증하였다.
• 두 번째 및 세 번째 기준—R² Nagelkerke의 차이 최소화와 전체 위험 추정의 정밀도 보장—은 기존의 이진 결과 표본 크기 규칙의 자연스러운 확장이다.
• 응용 예시를 통해 제안된 기준이 난소 종양 특성으로부터 종양 유형을 예측하는 실제 임상 상황에서 어떻게 적용 가능한지 명확히 보여주었다.
• 제안된 기준은 pmsampsize R 라이브러리와 Stata 모듈에 구현되어 연구자들이 쉽게 접근할 수 있도록 하였다.
• 다항 로지스틱 회귀의 표본 크기를 결정할 때 카테고리별 사건 수와 부분 모델의 성능을 고려하는 것이 중요하다는 점을 강조하였다.