[논문 리뷰] Distilling Knowledge from Deep Networks with Applications to Healthcare Domain

Zhengping Che, Sanjay Purushotham외 2명|arXiv (Cornell University)|2015. 12. 11.

Machine Learning in Healthcare참고 문헌 38인용 수 112

한 줄 요약

이 논문은 깊이 학습 모델(예: SDA, LSTM)의 예측 성능을 기반으로 해석 가능한 임상 표현형을 생성하는 지식 정복 프레임워크인 해석 가능한 모의 학습(Interpretable Mimic Learning)을 제안한다. 실제 EHR 시간 시리즈 데이터에서 최신 기술 수준 또는 그에 준하는 성능을 달성하며, 임상 전문가가 검증한 의미 있는 의사결정 규칙을 제공한다.

ABSTRACT

Exponential growth in Electronic Healthcare Records (EHR) has resulted in new opportunities and urgent needs for discovery of meaningful data-driven representations and patterns of diseases in Computational Phenotyping research. Deep Learning models have shown superior performance for robust prediction in computational phenotyping tasks, but suffer from the issue of model interpretability which is crucial for clinicians involved in decision-making. In this paper, we introduce a novel knowledge-distillation approach called Interpretable Mimic Learning, to learn interpretable phenotype features for making robust prediction while mimicking the performance of deep learning models. Our framework uses Gradient Boosting Trees to learn interpretable features from deep learning models such as Stacked Denoising Autoencoder and Long Short-Term Memory. Exhaustive experiments on a real-world clinical time-series dataset show that our method obtains similar or better performance than the deep learning models, and it provides interpretable phenotypes for clinical decision making.

연구 동기 및 목표

• 임상 의사결정에서 전문가가 투명하고 규칙 기반의 설명을 필요로 하므로, 임상 적용에 적합한 해석 가능한 기계 학습 모델의 필요성을 해결한다.
• 계산적 표현형 분석에 사용되는 깊이 학습 모델의 본질적인 해석 불가능성 문제를 해결하되, 뛰어난 예측 성능는 유지한다.
• 깊은 신경망의 예측 정확도를 유지하면서도 인간이 이해할 수 있는 특징과 의사결정 규칙을 생성하는 지식 정복 프레임워크를 개발한다.
• 복잡한 깊이 학습 표현에서 유도된 해석 가능한 표현형을 제공함으로써 임상 전문가가 모델 출력을 검증하고 신뢰할 수 있도록 한다.
• 소프트 레이블 외에 깊이 학습 네트워크에서 추출한 특징을 사용할 경우, 임상 예측 과제에서 모의 학습 성능이 향상되는지 조사한다.

제안 방법

• 사전에 훈련된 깊이 학습 모델(예: 스택드 노이즈 제거 오토인코더 또는 LSTM)의 소프트 레이블 예측을 모방하기 위해 기울기 부스팅 트리(Gradient Boosting Tree, GBT) 모델을 훈련시켜 지식 정복을 수행한다.
• GBT 훈련 중에 깊이 학습 모델의 출력 확률(소프트 타겟)을 지도 신호로 사용하여 예측 지식을 전달한다.
• 소프트 레이블과 깊이 학습된 특징(예: SDA 또는 LSTM 인코더에서 유도된 특징)을 모두 GBT의 입력으로 통합하여 모의 학습 성능 향상에 기여한다.
• GBT의 본질적 해석 가능성 덕분에 훈련된 트리에서 의사결정 규칙과 특징 중요도 스코어를 추출하여 임상 검증에 활용한다.
• GBT가 모의 학습하는 DNN, SDA, LSTM 및 로지스틱 회귀(LR) 헤드를 조합한 다양한 구성에서 성능를 비교한다.
• 임상 전문가가 GBT 모델에서 추출한 상위 특징과 의사결정 규칙의 임상적 관련성을 평가하여 모델의 해석 가능성 여부를 검증한다.

실험 결과

연구 질문

• RQ1 기울기 부스팅 트리(GBT)는 임상 시간 시리즈 데이터에서 깊이 학습 모델(SDA, LSTM 등)의 예측 성능을 효과적으로 모의할 수 있을까? 이 과정에서 해석 가능성은 유지되는가?
• RQ2 소프트 레이블만 사용하는 것과 소프트 레이블과 깊이 학습된 특징의 조합을 사용하는 것 중 어느 것이 더 뛰어난 모의 학습 성능를 제공하는가?
• RQ3 GBT 기반 모의 모델이 학습한 해석 가능한 특징과 의사결정 규칙은 임상적으로 관련 있는 생리학적 지표와 일치하는가?
• RQ4 GBT 기반 모의 모델의 성능는 원본 깊이 학습 모델과 단순한 의사결정 트리 모델보다 뛰어나거나 유사한가?
• RQ5 임상 전문가들은 해석 가능한 모의 학습 프레임워크가 생성한 표현형과 의사결정 규칙의 임상적 관련성을 검증할 수 있는가?

주요 결과

• 해석 가능한 모의 학습 프레임워크는 MOR 및 VFD 예측 과제에서 원본 깊이 학습 모델(SDA, LSTM)과 비교해 유사하거나 뛰어난 성능를 기록했다.
• GBT 기반 모의 모델은 단일 의사결정 트리 기반 모의 방법(DTmimic-*)보다 뛰어난 성능를 보였으며, MOR 과제에서 AUC가 최대 0.0891 향상되었고, VFD 과제에서는 0.1152 향상되었다.
• GBT 모델에서 상위 성능를 보인 특징들은 $ ext{MAP-D1}$, $ ext{$oldsymbol{ ext{}}$}$, $ ext{PH-D1}$와 같은 임상적으로 의미 있는 시간적 변수들이며, GBT-LR-LSTM 모델에서 중요도 스코어가 최대 0.066까지 기록되었다.
• PIM2 및 PRISM 스코어 — 기존에 확립된 임상 위험 스코어 — 는 일관되게 상위 정적 특징에 속해 있어 학습된 표현형의 임상적 관련성을 검증한다.
• GBT 모의 모델이 생성한 의사결정 트리는 표준 GBT 모델과 유사한 구조를 보이며, 일관된 규칙 학습이 이루어졌음을 시사하며, 전문가 검증에 적합한 수준의 해석 가능성성을 확보했다.
• 소프트 레이블 외에 깊이 학습된 특징(예: SDA 또는 LSTM에서 유도된 특징)을 추가로 사용할 경우, 소프트 레이블만 사용하는 방법보다 높은 AUC를 기록함으로써 모의 학습 성능 향상이 뚜렷하게 나타났다.