[논문 리뷰] Supervised Laplacian Eigenmaps with Applications in Clinical Diagnostics for Pediatric Cardiology

Thomas Perry, Hongyuan Zha외 3명|arXiv (Cornell University)|2012. 07. 27.

Machine Learning in Healthcare참고 문헌 19인용 수 5

한 줄 요약

이 논문은 임상 기록에서의 임상 텍스트를 저차원 공간으로 매핑하는 데에 Supervised Laplacian Eigenmaps (SLE)를 제안한다. 이 방법은 국소 유사성을 유지하면서 진단 예측 최적화를 동시에 수행한다. 교차 기울기 강하를 통해 텍스트 임베딩과 분류기 파라미터를 동시에 학습함으로써, SLE는 LSI, LDA, LFDA를 능가하여 소아 심장병 예측에서 AUC 0.782와 MCC 0.374를 달성하였으며, 비지도 라플라시안 고유매핑보다 AUC 2.69% 향상되고 MCC 5.35% 향상되었다.

ABSTRACT

Electronic health records contain rich textual data which possess critical predictive information for machine-learning based diagnostic aids. However many traditional machine learning methods fail to simultaneously integrate both vector space data and text. We present a supervised method using Laplacian eigenmaps to augment existing machine-learning methods with low-dimensional representations of textual predictors which preserve the local similarities. The proposed implementation performs alternating optimization using gradient descent. For the evaluation we applied our method to over 2,000 patient records from a large single-center pediatric cardiology practice to predict if patients were diagnosed with cardiac disease. Our method was compared with latent semantic indexing, latent Dirichlet allocation, and local Fisher discriminant analysis. The results were assessed using AUC, MCC, specificity, and sensitivity. Results indicate supervised Laplacian eigenmaps was the highest performing method in our study, achieving 0.782 and 0.374 for AUC and MCC respectively. SLE showed an increase in 8.16% in AUC and 20.6% in MCC over the baseline which excluded textual data and a 2.69% and 5.35% increase in AUC and MCC respectively over unsupervised Laplacian eigenmaps. This method allows many existing machine learning predictors to effectively and efficiently utilize the potential of textual predictors.

연구 동기 및 목표

• 기존 기계 학습 모델이 전자 기록 내 예측가능성이 높은 비정형 임상 텍스트를 배제하는 한계를 해결하기 위해.
• 소아 심장병 진단 성능 향상을 위해 텍스트 임베딩과 분류기 파라미터를 동시에 최적화하는 방법을 개발하기 위해.
• 국소 의미적 유사성을 유지하면서 수치 벡터 데이터와 텍스트 예측 변수를 통합된 저차원 표현으로 통합하기 위해.
• 실제 소아 심장병 데이터셋(2,000건 이상의 환자 기록 포함)을 대상으로 기존 차원 축소 기법과의 예측 성능를 평가하기 위해.
• 감독된 텍스트 임베딩이 비감독 또는 기준 방법보다 진단 정확도를 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 감독된 라플라시안 고유매핑을 사용하여 임상 노트 간 국소 유사성을 유지하는 저차원 유클리드 공간으로 텍스트 예측 변수를 매핑한다.
• 예측 오차와 다양체 정규화를 포함하는 손실 함수를 동시에 최소화하기 위해, 임베딩과 분류기 파라미터를 교차 최적화한다.
• 임베딩은 텍스트 데이터에서 유도된 유사도 행렬을 기반으로 구성되며, 라플라시안 행렬이 국소 이웃의 구조를 강제한다.
• 새로운 테스트 문서의 임베딩을 추정하기 위해 가중치가 부여된 k개 이웃의 방법을 통해 샘플 외 추론을 지원한다.
• 목적 함수에는 학습 데이터에의 적합도와 임베딩 공간의 매끄러움 사이의 트레이드오프를 조정하는 하이퍼파rameter λ가 포함되어 있다.
• 기본 분류기로 로지스틱 회귀를 사용하여 수치 데이터와 임bedded된 텍스트 특징를 통합하여 심장병 상태를 예측한다.

실험 결과

연구 질문

• RQ1 감독된 라플라시안 고유매핑은 소아 심장병 진단 예측을 향상시키기 위해 비정형 임상 노트와 수치 데이터를 효과적으로 통합할 수 있는가?
• RQ2 SLE의 성능은 LSI, LDA, LFDA와 같은 비지도 및 감독된 기준 모델과 비교해 볼 때 심장병 예측에서 어떻게 나타나는가?
• RQ3 텍스트 임베딩과 분류기 파라미터를 동시에 최적화하는 것이 별도로 학습된 임베딩과 예측 모델보다 더 우수한 일반화 성능을 보이는가?
• RQ4 SLE는 새로운, 미리 보지 않은 임상 노트의 임베딩을 추정하는 실용적 제약 조건 하에서 어떻게 성능을 발휘하는가?
• RQ5 하이퍼파rameter λ는 SLE 모델의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• SLE는 AUC 0.782와 MCC 0.374를 기록하여 LSI, LDA, LFDA를 포함한 모든 기준 모델을 AUC 및 MCC 지표에서 능가하였다.
• 텍스트 데이터를 배제한 기준 모델에 비해 SLE는 AUC가 8.16% 향상되고 MCC가 20.6% 향상되었다.
• 비지도 라플라시안 고유매핑보다 SLE는 AUC 2.69% 향상되고 MCC 5.35% 향상되어, 임베딩 과정에서의 감독의 이점을 입증하였다.
• 매우 낮은 차원 수(<17)에서는 LSI가 SLE를 능가했지만, 새로운 테스트 데이터의 임베딩 추정 시 SLE가 LSI를 앞섰다. 이는 SLE의 효율적인 샘플 외 추론 덕분이었다.
• 샘플 외 임베딩 추정에 가중치가 부여된 k개 이웃 방법이 표준 평균화 방법보다 뛰어난 성능을 보였는데, 이는 가장 유사한 이웃에 더 큰 중시를 두었기 때문이다.
• 방법은 하이퍼파rameter λ에 민감하지만, 실무에서 최적 성능을 달성하기 위해 점진적 최적화 전략이 효과적이었다.