[논문 리뷰] Using Kernel Methods and Model Selection for Prediction of Preterm Birth

Ilia Vovsha, Ansaf Salleb-Aouissi외 9명|arXiv (Cornell University)|2016. 07. 27.

Preterm Birth and Chorioamnionitis참고 문헌 25인용 수 14

한 줄 요약

이 연구는 NICHD 전개예산 연구의 임상 데이터셋을 사용하여 핵심 방법과 모델 선택을 적용해 조기출산을 예측한다. 기존 연구 대비 감도 20% 향상 및 특이도 30% 향상되는 유의미한 개선을 보이며, 특히 28주에서의 자발적 조기출산에 대해 RBF 커널을 사용한 서포트 벡터 머신(SVM)과 모델 선택을 적용한 로지스틱 회귀 모델에서 성과가 뛰어나다.

ABSTRACT

We describe an application of machine learning to the problem of predicting preterm birth. We conduct a secondary analysis on a clinical trial dataset collected by the National In- stitute of Child Health and Human Development (NICHD) while focusing our attention on predicting different classes of preterm birth. We compare three approaches for deriving predictive models: a support vector machine (SVM) approach with linear and non-linear kernels, logistic regression with different model selection along with a model based on decision rules prescribed by physician experts for prediction of preterm birth. Our approach highlights the pre-processing methods applied to handle the inherent dynamics, noise and gaps in the data and describe techniques used to handle skewed class distributions. Empirical experiments demonstrate significant improvement in predicting preterm birth compared to past work.

연구 동기 및 목표

• 이질적인 위험 요인을 포함한 임상 데이터셋을 기반으로 기계학습을 활용해 조기출산 예측 정확도를 향상시키는 것.
• 임신 예측에서 편향된 클래스 분포와 노이즈가 많은 동적 임상 데이터의 과제를 해결하는 것.
• 선형 및 RBF 커널을 사용한 서포트 벡터 머신, 모델 선택을 적용한 로지스틱 회귀, 전문가가 도출한 의사결정 규칙을 포함한 다양한 모델의 성능을 다양한 조기출산 하위유형에서 평가하는 것.
• 기존 임신력 정보가 없는 위험군인 첫 임신 여성이 포함된 가장 취약한 인구집단에 집중하는 것.
• 24, 26, 28주와 같은 여러 임신 주수에서 모델 성능을 평가하여 위험 예측의 시간적 동적 특성을 반영하는 것.

제안 방법

• 다변량 위험 요인 간의 비선형 관계를 모델링하기 위해 선형 및 반경기저함수(RBF) 커널을 사용한 서포트 벡터 머신(SVM)을 적용하였다.
• 예측 성능 최적화 및 고차원적이고 상관관계가 높은 예측변수를 다루기 위해 로지스틱 회귀에 모델 선택 기법을 적용하였다.
• 임상 데이터셋에서 흔한 결측치, 시간적 일관성 문제, 편향된 클래스 분포를 관리하기 위해 사전처리 전략을 사용하였다.
• 모든 조기출산 하위유형(모든 조기출산, 자발적 조기출산, 초산부 여성에서의 조기출산)에 대해 모델을 평가하였다.
• 예측 정확도에 대한 종단적 데이터 가용성의 영향을 평가하기 위해 세 가지 임신 주수(24, 26, 28주)에서 실험을 수행하였다.
• 학습된 모델(SVM, 로지스틱 회귀)을 전문의 기반 규칙 기반 모델(예: Creasy 표)과 비교하여 임상적 관련성을 기준으로 평가하였다.

실험 결과

연구 질문

• RQ1 기존 임상 데이터셋에서 기존의 로지스틱 회귀에 비해 RBF 커널을 사용한 SVM과 같은 핵심 방법이 조기출산 예측 정확도를 향상시킬 수 있는가?
• RQ2 편향된 클래스 분포가 존재할 경우, 로지스틱 회귀에서의 모델 선택이 조기출산 예측 성능에 어떤 영향을 미치는가?
• RQ3 24, 26, 28주와 같은 여러 임신 주수에서의 종단적 데이터 포함 여부가 조기출산 예측 성능 향상에 기여하는가?
• RQ4 기계학습 모델은 자발적 조기출산 및 초산부 여성에서의 조기출산 예측에서 전문가가 도출한 임상 규칙(예: Creasy 표)과 비교해 어떻게 성능을 내는가?
• RQ5 결측치 및 데이터 희소성은 특히 이전 임신력 정보가 없는 초산부 여성의 경우 모델 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 28주 임신 시점에서 선형 SVM 모델은 자발적 조기출산에 대해 47%의 감도와 57%의 특이도를 기록하였으며, 이는 이전 기준(1996년 Mercer 등) 대비 감도 20% 향상 및 특이도 30% 향상된 결과이다.
• 전체 데이터셋에서 RBF 커널 SVM은 선형 SVM보다 略적으로 뛰어난 성능을 보였으며, 이는 위험 요인 간 비선형 관계가 조기출산 예측에 유의미하게 기여할 수 있음을 시사한다.
• 모든 데이터 클래스 및 시간 지점에서 최적의 모델은 약 50%의 감도와 특이도를 기록하여 다양한 하위유형에서 안정적인 성능을 보였다.
• 랜덤 포레스트 모델은 과적합으로 인해 성능이 열등했으며, T3에서 다항식 SVM의 g-mean 값이 최소 0.11 ± 0.10에 머물러 있어 고차원적이고 노이즈가 많은 데이터에서의 불안정성을 보였다.
• 기계학습 기반 선형 모델은 전문가가 도출한 Creasy-7 및 Creasy-13 표보다 특히 초산부 여성에서 감도 및 특이도 측면에서 뛰어난 성능을 보였다.
• 모든 SVM 실행에서 지지벡터의 수가 많았기 때문에 최적의 결정 경계는 약간의 선형성을 띠며, 더 나은 일반화를 위해 과소적합(작은 C 값)이 선호됨을 시사한다.