[논문 리뷰] Stochastic Approximation EM for Logistic Regression with Missing Values

Wei Jiang, Julie Josse외 1명|arXiv (Cornell University)|2018. 05. 11.

Statistical Methods and Bayesian Inference참고 문헌 24인용 수 1

한 줄 요약

이 논문은 결측 데이터가 있는 로지스틱 회귀분석을 위한 메트로폴리스-하스팅스 표본을 사용하는 확률적 근사 EM 알고리즘을 제안한다. 이는 매개변수 추정, 분산 추론, 신뢰구간, 모델 선택 및 완전하지 않은 테스트 세트에서의 예측을 가능하게 한다. 이 방법은 계산적으로 효율적이며 시뮬레이션과 실제 외상 환자 데이터셋에서 강력한 커버리지 및 변수 선택 성능을 보여준다.

ABSTRACT

Logistic regression is a common classification method in supervised learning. Surprisingly, there are very few solutions for performing it and selecting variables in the presence of missing values. We propose a stochastic approximation version of the EM algorithm based on Metropolis-Hasting sampling, to perform statistical inference for logistic regression with incomplete data. We propose a complete approach, including the estimation of parameters and their variance, derivation of confidence intervals, a model selection procedure, and a method for prediction on test sets with missing values. The method is computationally efficient, and its good coverage and variable selection properties are demonstrated in a simulation study. We then illustrate the method on a dataset of polytraumatized patients from Paris hospitals to predict the occurrence of hemorrhagic shock, a leading cause of early preventable death in severe trauma cases. The aim is to consolidate the current red flag procedure, a binary alert identifying patients with a high risk of severe hemorrhage. The methodology is implemented in the R package misaem.

연구 동기 및 목표

• 감독학습에서 결측치가 있는 로지스틱 회귀분석을 위한 강력한 방법의 부족을 해결하기 위해.
• 모든 통계적 추론(매개변수 추정 및 분산-공분산 추정 포함)을 지원하는 계산적으로 효율적인 접근법을 개발하기 위해.
• 결측치가 있는 테스트 세트에서의 모델 선택 및 예측을 가능하게 하기 위해.
• 시뮬레이션 연구와 외상 환자 예후에 대한 실제 응용을 통해 방법의 성능을 검증하기 위해.
• 더 넓은 연구 사용을 위해 접근성이 높은 R 패키지(misaem)로 방법을 구현하기 위해.

제안 방법

• 결측 데이터가 있는 로지스틱 회귀분석에서 매개변수를 반복적으로 추정하기 위해 확률적 근사 EM 알고리즘을 사용한다.
• 결측 데이터에서 발생하는 비가역적 적분을 처리하기 위해 E단계에 메트로폴리스-하스팅스 표본을 통합한다.
• 이 방법은 회귀 계수와 그 표준오차를 함께 추정하여 신뢰구간 구축을 가능하게 한다.
• 관측 로그우도 기반으로 수정된 AIC 기준을 사용하여 모델 선택을 수행한다.
• 이m퓨테이션과 추정 단계를 통합하여 결측치가 있는 테스트 세트에서의 예측을 가능하게 한다.
• 재현 가능하고 확장 가능한 사용을 위해 R 패키지 misaem에 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 메트로폴리스-하스팅스 표본을 통합한 확률적 근사 EM 알고리즘이 로지스틱 회귀분석에서 결측 데이터를 효과적으로 다룰 수 있는가?
• RQ2 제안된 방법은 매개변수 추정 정확도와 신뢰구간 커버리지 측면에서 어떻게 성능을 보이는가?
• RQ3 이 방법은 결측치가 있는 테스트 세트에서 신뢰할 수 있는 변수 선택 및 예측을 지원할 수 있는가?
• RQ4 계산 효율성과 통계적 성능 측면에서 기존 방법과 비교해 볼 때 어떻게 성능을 내는가?
• RQ5 이 방법은 실제 임상 데이터에서 출혈성 쇼크 위험 환자 식별을 향상시키는가?

주요 결과

• 제안된 방법은 중간에서 높은 결측률 조건에서도 좋은 커버리지 비율을 달성한다.
• 변수 선택 성능이 뛰어나 시뮬레이션 연구에서 관련 예측변수를 정확히 식별했다.
• 계산적으로 효율적이며, 표본 크기와 결측 비율에 따라 잘 스케일링된다.
• 다중외상 데이터셋에서 표준 레드 플래그 절차보다 환자 중 출혈성 쇼크 위험군을 더 잘 식별했다.
• R 패키지 misaem에 구현되어 다양한 연구 환경에서 실용적인 응용이 가능하다.
• 결측 데이터 존재 조건에서도 p값 계산과 모델 선택을 포함한 전반적인 통계적 추론을 성공적으로 지원한다.