[논문 리뷰] An Ensemble Classifier for Predicting the Onset of Type II Diabetes

John Semerdjian, Spencer Frank|arXiv (Cornell University)|2017. 08. 24.

Artificial Intelligence in Healthcare참고 문헌 4인용 수 3

한 줄 요약

이 연구는 NHANES 설문 조사 데이터에서 16개의 생활 방식 및 인구 통계적 특성을 사용하여 제2형 당뇨병 발병을 예측하기 위해 다섯 개의 기계 학습 모델을 조합한 앙상블 분류기를 제안한다. 앙상블 접근 방식에도 불구하고 기울기 부스팅 분류기만이 0.84의 최고 AUC를 기록하며 앙상블의 0.834를 뛰어넘었으며, 이는 계산 자원 제약 하에서 모델 가중치 설정과 하이퍼파rameter 튜닝의 한계를 시사한다.

ABSTRACT

Prediction of disease onset from patient survey and lifestyle data is quickly becoming an important tool for diagnosing a disease before it progresses. In this study, data from the National Health and Nutrition Examination Survey (NHANES) questionnaire is used to predict the onset of type II diabetes. An ensemble model using the output of five classification algorithms was developed to predict the onset on diabetes based on 16 features. The ensemble model had an AUC of 0.834 indicating high performance.

연구 동기 및 목표

• NHANES 데이터셋의 쉽게 확보할 수 있는 설문 조사 및 생활 방식 데이터를 사용하여 제2형 당뇨병 발병 예측 정확도를 향상시키기 위해.
• 다양한 분류기를 조합하여 개별 모델을 뛰어넘는 예측 성능을 향상시키는 앙상블 모델을 개발하기 위해.
• 모델 출력 결과를 실제 임상 및 공중보건 적용에 해석하여 조기 질병 탐지 및 예방 보건에 기여하기 위해.
• 데이터 보정 및 하이퍼파rameter 튜닝이 모델 성능에 미치는 영향을 평가하기 위해.
• 이 데이터셋에서 앙상블 방법이 하이퍼파rameter 튜닝 및 특성 가중치 설정의 복잡성에도 불구하고 일관되게 개별 모델을 능가하는지 확인하기 위해.

제안 방법

• 연구는 1999~2004년 기간 동안의 5,515명의 NHANES 설문 조사 샘플을 사용하였으며, 연령, 체질량지수, 허리 둘레, 혈액 포도당 수치, 생활 습관 요소 등 총 16개의 특성을 포함한다.
• 라벨은 두 가지 기준을 기반으로 할당되었으며, 자가 보고한 당뇨병 진단과 혈액 포도당 수치가 126 mg/dL 이상인 기준을 사용하였고, 후자의 기준에 따라 4,600명의 샘플이 당뇨병 환자로 레이블링되었다.
• 20%의 테스트 세트를 확보하였으며, 학습 세트에서 하이퍼파rameter 튜닝을 위해 10겹 교차검증과 그리드 서치를 사용하였다.
• 다섯 개의 기본 분류기(SVM, 랜덤 포레스트, 기울기 부스팅, KNN, 로지스틱 회귀)를 별도로 학습시킨 후, 예측 확률을 평균화하여 가중치 없는 앙상블 모델을 구성하였으며, 최종 결정 임계값은 당뇨병 환자의 재현율을 75%로 맞추기 위해 튜닝되었다.
• 특성의 25% 이상가 결측치를 보이는 경우, 학습 세트의 평균(수치형) 및 최빈값(범주형)을 사용하여 데이터 보정을 수행하였다.
• 앙상블 모델은 개별 모델의 예측 확률을 무게 없이 평균화하였으며, 최종 결정 임계값은 당뇨병 환자에 대한 재현율을 75%로 맞추기 위해 튜닝되었다.

실험 결과

연구 질문

• RQ1 NHANES 설문 조사 데이터를 사용할 때, 다수의 분류기를 조합한 앙상블 모델이 개별 모델보다 제2형 당뇨병 발병 예측 정확도를 향상시킬 수 있는가?
• RQ2 임상 스크리닝 맥락에서 민감도(재현율)와 특이도를 균형 잡는 데 최적의 결정 임계값은 무엇인가?
• RQ3 이 데이터셋에서 데이터 보정 전략과 하이퍼파라미터 튜닝은 모델 성능에 어떤 영향을 미치는가?
• RQ4 이론적으로 유리한 점이 있는 앙상블 모델이지만, 왜 단일 기울기 부스팅 분류기보다 성능이 열 劣했는가?
• RQ5 설문 기반 모델이 얼마나 높은 AUC를 달성할 수 있으며, 이 데이터 유형에 대해 0.83~0.84는 실용적인 상한선인가?

주요 결과

• 앙상블 분류기는 설문 조사 데이터에서 제2형 당뇨병 발병을 예측하는 데 강력한 분류 성능을 보이며 AUC 0.834를 기록하였다.
• 단일 기울기 부스팅 분류기가 앙상블을 뛰어넘어 AUC 0.84를 기록하며, 테스트된 모든 모델 중에서 가장 높은 성능를 보였다.
• 랜덤 포레스트에 의해 특정된 상위 5개의 중요도 높은 특성은 연령, 허리 둘레, 당뇨병 가족력, 키, 총 콜레스테롤이었다.
• 당뇨병 환자에 대한 재현율을 75%로 맞추기 위해 결정 임계값 T=0.78를 선택하였으며, 실제로 당료병 환자 100명 중 75명을 정확히 식별하였다.
• 이 재현율 수준을 확보하기 위해 2,165명의 환자를 잠재적 당뇨병 환자로 알림을 보내야 하며, 이 중 55%는 비당뇨병 환자였으며, 민감도와 특이도 사이의 상충 관계를 드러냈다.
• 이 연구는 현재 성능 한계(AUC ~0.83~0.84)가 이 데이터셋에서 단순 분류기의 상한선에 가까울 수 있으며, 데이터 보정이 향후 주요 개선 방향이 될 것임을 시사한다.