[논문 리뷰] Representation Learning with Autoencoders for Electronic Health Records: A Comparative Study

Najibesadat Sadati, Milad Zafar Nezhad외 2명|arXiv (Cornell University)|2018. 01. 06.

Machine Learning in Healthcare참고 문헌 49인용 수 9

한 줄 요약

이 논문은 전자 건강 기록(EHR)에서 표현 학습을 위한 깊이 신경망 오토인코더 아키텍처—스택드 스퍼스 오토인코더(SSAE), 딥 베이지안 네트워크(DBN), 적대적 오토인코더(AAE), 변분 오토인코더(VAE)—의 비교 연구를 제안한다. 작은 데이터셋에서는 희소성 정규화 덕분에 SSAE가 다른 모델보다 뛰어난 성능을 보이며, 큰 데이터셋에서는 데이터 분포를 효과적으로 모델링함으로써 VAE가 뛰어난 성능을 보여, 심부전 위험 및 중환자실(ICU) 체류 기간 예측 정확도를 크게 향상시킨다.

ABSTRACT

Increasing volume of Electronic Health Records (EHR) in recent years provides great opportunities for data scientists to collaborate on different aspects of healthcare research by applying advanced analytics to these EHR clinical data. A key requirement however is obtaining meaningful insights from high dimensional, sparse and complex clinical data. Data science approaches typically address this challenge by performing feature learning in order to build more reliable and informative feature representations from clinical data followed by supervised learning. In this paper, we propose a predictive modeling approach based on deep learning based feature representations and word embedding techniques. Our method uses different deep architectures (stacked sparse autoencoders, deep belief network, adversarial autoencoders and variational autoencoders) for feature representation in higher-level abstraction to obtain effective and robust features from EHRs, and then build prediction models on top of them. Our approach is particularly useful when the unlabeled data is abundant whereas labeled data is scarce. We investigate the performance of representation learning through a supervised learning approach. Our focus is to present a comparative study to evaluate the performance of different deep architectures through supervised learning and provide insights in the choice of deep feature representation techniques. Our experiments demonstrate that for small data sets, stacked sparse autoencoder demonstrates a superior generality performance in prediction due to sparsity regularization whereas variational autoencoders outperform the competing approaches for large data sets due to its capability of learning the representation distribution.

연구 동기 및 목표

• 고차원적이고 희소적이며 복잡한 EHR 데이터로부터 강력하고 저차원의 표현을 학습하는 데 있어 다양한 딥 오토인코더 아키텍처의 효과성을 평가하기 위해.
• 희소한 레이블이 있는 임상 데이터셋에서 오토인코더를 통한 표현 학습이 후속 지도 학습 예측 성능를 향상시키는 방식을 조사하기 위해.
• 데이터셋 크기(작은 데이터 vs. 큰 데이터)와 데이터 특성에 기반하여 최적의 오토인코더 아키텍처를 선택하는 데 실증적 지침을 제공하기 위해.
• 기존의 기준 모델(예: APACHE)과 비교하여 오토인코더를 통한 비지도 사전학습이 심부전 위험 및 ICU 체류 기간 예측과 같은 임상 결과를 예측하는 데 얼마나 효과적인지 비교하기 위해.

제안 방법

• 원시 EHR 데이터로부터 특징 표현 학습을 위해 스택드 스퍼스 오토인코더(SSAE), 딥 베이지안 네트워크(DBN), 적대적 오토인코더(AAE), 변분 오토인코더(VAE)의 네 가지 딥 오토인코더 아키텍처를 사용하였다.
• 두 개의 원천에서 EHR 데이터를 전처리하였다: DMC(작은 데이터셋, 약 7,000건)와 eICU(큰 데이터셋, 약 7,000~8,000건), 정제 및 특징 공학 후 환자당 150개 이상의 특징을 확보하였다.
• 일반화 성능 향상과 과적합 방지를 위해 복원 손실(MAE를 사용한 SSAE, MSE + KL 발산을 사용한 VAE)과 정규화 기법을 사용하였다.
• 학습된 표현에 대해 지도 학습 모델(RF, 라소, SVM)을 적용하여 두 가지 임상 과제에서 예측 성능 평가를 수행하였다: LVMI 기반 심부전 위험 예측 및 ICU 체류 기간(LOS) 예측.
• 100 에포크 동안 모델을 훈련하고 검증하며, 특히 SSAE와 VAE의 수렴성과 일반화 능력을 평가하기 위해 훈련 손실 및 검증 손실을 모니터링 하였다.
• 작은 데이터셋과 큰 데이터셋 모두에서 APACHE 점수 시스템과 같은 기준 모델과의 성능을 비교하였으며, RMSE 및 기타 회귀 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 스택드 스퍼스 오토인코더(SSAE), 딥 베이지안 네트워크(DBN), 적대적 오토인코더(AAE), 변분 오토인코더(VAE)와 같은 다양한 딥 오토인코더 아키텍처가 고차원적이고 희소한 EHR 데이터로부터 효과적인 표현을 학습하는 데 어떻게 비교되는가?
• RQ2 원시 특징을 사용하는 것과 비교하여 오토인코더를 통한 표현 학습이 심부전 위험 및 ICU 체류 기간 예측과 같은 임상 결과의 예측 성능를 향상시키는가?
• RQ3 데이터셋 크기(작은 데이터 vs. 큰 데이터)가 일반 오토인코더(SSAE, DBN 등)와 생성적 오토인코더(AAE, VAE 등)의 상대적 성능에 어떻게 영향을 미치는가?
• RQ4 희소성 정규화(SSAE에서의 희소성) 또는 KL 발산(VAE에서의 KL 발산) 등의 정규화 기법이 자원이 제한된 레이블이 있는 환경에서 모델의 일반화 능력과 예측 정확도에 어떤 영향을 미치는가?
• RQ5 오토인코더 기반 표현이 심부전 예측과 같은 ICU 결과 예측에서 기존의 APACHE 점수 시스템을 초월할 수 있는가?

주요 결과

• 작은 데이터셋(DMC, 약 7,000건)에서는 스택드 스퍼스 오토인코더(SSAE)가 랜덤 포레스트를 사용하여 RMSE 0.20을 기록하며, 다른 오토인코더와 원본 데이터 기준보다 유의미하게 뛰어난 성능을 보였다.
• 큰 데이터셋(Cardiac-eICU, 약 7,000건)에서는 변분 오토인코더(VAE)가 랜덤 포레스트를 사용하여 RMSE 0.14를 기록하며, 모든 다른 오토인코더 유형과 APACHE 모델(RMSE = 8.04)을 압도적으로 능가하는 성능을 보였다.
• 적대적 오토인코더(AAE)는 두 데이터셋 모두에서 뛰어난 성능을 보였으며, RMSE는 각각 Cardiac-eICU에서 0.57, Neuro-eICU에서 0.72였지만, 대규모 설정에서는 VAE에 뒤지지 않았다.
• 훈련 및 검증 손실 곡선을 통해 SSAE와 VAE가 양호한 수렴을 이룬 것으로 확인되었으며, SSAE는 작은 데이터셋에서 더 낮은 손실을 기록했고, VAE는 큰 데이터셋에서 유사한 경향을 보여, 각각의 환경에서 더 나은 일반화 능력을 가짐을 시사하였다.
• APACHE 점수 시스템은 eICU 데이터셋 전부에서 빈약한 성능을 보였으며, RMSE 값은 각각 Cardiac에서 8.04, Neuro에서 8.12였고, 이는 깊이 있는 표현 학습이 기존의 임상 점수 시스템을 크게 능가함을 보여준다.
• 오토인코더를 통한 표현 학습은 랜덤 포레스트, 라소, SVM 등 모든 지도 학습 모델에서 일관되게 예측 정확도를 향상시켰으며, 특히 VAE는 큰 데이터셋에서, SSAE는 작은 데이터셋에서 가장 두드러진 성과를 기록하였다.