[논문 리뷰] Logistic Regression with Missing Covariates -- Parameter Estimation, Model Selection and Prediction within a Joint-Modeling Framework

Wei Jiang, Julie Josse외 2명|arXiv (Cornell University)|2018. 05. 11.

Statistical Methods and Bayesian Inference참고 문헌 31인용 수 5

한 줄 요약

이 논문은 누락된 예측 변수가 있는 로지스틱 회귀 모형에 대해 누락이 임의적(MAR) 메커니즘 하에서 계산적으로 효율적인 확률적 근사 EM(SAEM) 알고리즘을 제안한다. 이 방법은 매개변수 추정, 분산 추정, 신뢰구간 구축, BIC를 통한 모형 선택, 그리고 누락된 데이터를 가진 새로운 관측치에 대한 예측을 가능하게 하며, 시뮬레이션과 외상 환자 데이터셋(다중 대체 방법과 비교)을 통해 편향과 신뢰구간 커버리지 측면에서 더 우수한 성능을 보였다. R 패키지 misaem을 통해 이용 가능하다.

ABSTRACT

Logistic regression is a common classification method in supervised learning. Surprisingly, there are very few solutions for performing logistic regression with missing values in the covariates. We suggest a complete approach based on a stochastic approximation version of the EM algorithm to do statistical inference with missing values including the estimation of the parameters and their variance, derivation of confidence intervals and a model selection procedure. We also tackle the problem of prediction for new observations (on a test set) with missing covariate data. The methodology is computationally efficient, and its good coverage and variable selection properties are demonstrated in a simulation study where we contrast its performances to other methods. For instance, the popular approach of multiple imputation by chained equations can lead to estimates that exhibit meaningfully greater biases than the proposed approach. We then illustrate the method on a dataset of severely traumatized patients from Paris hospitals to predict the occurrence of hemorrhagic shock, a leading cause of early preventable death in severe trauma cases. The aim is to consolidate the current red flag procedure, a binary alert identifying patients with a high risk of severe hemorrhage. The methodology is implemented in the R package misaem.

연구 동기 및 목표

• 실제 데이터에서 예측 변수가 누락된 경우에 대해 강력하고 계산적으로 효율적인 방법의 부족을 해결하기 위해.
• MAR 누락성 하에서 전체 통계적 추론(매개변수 추정, 분산 추정, 신뢰구간 포함)을 지원하는 통합 모델링 프레임워크를 개발하기 위해.
• 데이터가 불완전할 경우에도 관측된 우도에 대한 벌점 부여된 기준(BIC)을 사용한 모형 선택을 가능하게 하기 위해.
• 예측 변수 값이 누락된 새로운 관측치에 대한 예측 프레임워크를 제공하기 위해.
• 다중 대체 방법과 같은 기존 방법보다 유한 표본에서 편향을 줄이고 커버리지 성능을 향상시켜 개선된 성능을 달성하기 위해.

제안 방법

• 논문은 EM 알고리즘의 계산이 불가능한 기대단계를 메트로폴리스-하스팅스 샘플링을 통한 몬테카를로 샘플링으로 대체하는 확률적 근사 EM(SAEM) 알고리즘을 사용한다.
• SAEM은 완전 데이터 로그우도의 조건부 기대값을 추정하기 위해 재귀적 확률적 근사를 사용하여, 큰 몬테카를로 샘플이 필요로 하는 것을 피하고 계산 비용을 절감한다.
• 분산 추정은 루이스 공식의 몬테카를로 버전을 사용하여 표준오차 및 신뢰구간 계산이 가능하다.
• 모형 선택은 불완전한 데이터에 적응된 벌점 부여된 관측우도 기준(BIC)을 사용하여, 누락성 존재 하에서도 변수 선택이 가능하도록 한다.
• 예측은 추정된 모형 하에서 누락된 값의 사후분포에 대해 통합하여 수행된다.
• 이 방법은 CRAN에 배포된 R 패키지 misaem를 통해 구현되었으며, GitHub를 통한 완전한 재현 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 MAR 누락성 하에서 매개변수 추정의 편향과 커버리지 측면에서 제안된 SAEM 기반 로지스틱 회귀 방법이 다중 대체 방법보다 어떻게 비교되는가?
• RQ2 예측 변수가 누락된 경우 SAEM 프레임워크가 BIC를 사용한 신뢰성 있는 모형 선택을 지원할 수 있는가?
• RQ3 이 방법은 예측 변수 값이 누락된 새로운 관측치의 결과 예측에 얼마나 효과적인가?
• RQ4 고도로 누락된 비율을 가진 실생활 의료 데이터에서 이 방법은 기존 접근법보다 통계적 효율성과 정확성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 데이터 분포의 형태(예: 왜도)는 이 방법의 성능에 어떤 영향을 미치며, 사전 처리로 로그 변환을 적용하면 결과가 향상되는가?

주요 결과

• 시뮬레이션 결과, SAEM 방법은 95% 신뢰구간에 대해 93.8–95.5%의 커버리지 성능을 보였으며, 다중 대체 방법(예: t-분포 하에서 β₃의 경우 81.5%)보다 뛰어나고 편향도 낮았다.
• SAEM 방법은 모든 매개변수와 오차 분포(t, 정규혼합분포)에서 양호한 커버리지(94–95%)를 유지했으며, 다중 대체 방법(mice)은 저커버리지(예: β₃의 경우 81.5%)와 더 높은 편향을 보였다.
• TraumaBase 데이터셋에서 SAEM는 AUC 88.5%, 정확도 86.9%, 민감도 74.6%, 특이도 88.2%를 기록하여 예측 성능에서 대부분의 경쟁 방법보다 뛰어났다.
• AUC와 특이도 측면에서 missForest, impMean, impPCA, mice보다 뛰어난 성능을 보였으며, predSVM를 제외한 모든 방법 중에서 가장 높은 정밀도(41.1%)를 기록했다.
• 분석 이전에 예측 변수를 로그 변환하는 데는 유의미한 이득이 없었으며, 이러한 변환은 관측된 데이터에만 적용되기 때문에 MAR 하에서 관계를 왜곡할 수 있다.
• R 패키지 misaem는 SAEM 알고리즘을 성공적으로 구현하여 예측 변수가 누락된 로지스틱 회귀 분석을 재현 가능하고 효율적으로 수행할 수 있도록 했다.