[논문 리뷰] Bayesian LSTMs in medicine

Jos van der Westhuizen, Joan Lasenby|arXiv (Cornell University)|2017. 06. 05.

Time Series Analysis and Forecasting참고 문헌 41인용 수 15

한 줄 요약

이 논문은 의료 시간 시리즈 분류의 정확도를 향상시키고 불확실성 추정을 제공하기 위해 몬테카를로 드롭아웃을 사용하는 베이지안 장단기 기억망(LSTM)을 제안한다. 테스트 시기 동안 MC 드롭아웃을 적용함으로써 모델은 예측 클래스와 신뢰도 점수를 동시에 제공하며, ECG, 청진음, 신생아 집중치료실(ICU) 데이터를 포함한 네 가지 의료 데이터셋에서 정확도 향상과 신뢰할 수 있는 불확실성 정량화를 입증한다.

ABSTRACT

The medical field stands to see significant benefits from the recent advances in deep learning. Knowing the uncertainty in the decision made by any machine learning algorithm is of utmost importance for medical practitioners. This study demonstrates the utility of using Bayesian LSTMs for classification of medical time series. Four medical time series datasets are used to show the accuracy improvement Bayesian LSTMs provide over standard LSTMs. Moreover, we show cherry-picked examples of confident and uncertain classifications of the medical time series. With simple modifications of the common practice for deep learning, significant improvements can be made for the medical practitioner and patient.

연구 동기 및 목표

• 의료 시간 시리즈 분류에 사용되는 딥 러닝 모델에서 불확실성 정량화의 부족을 해결하기 위해.
• 임상 결정에 모델의 자신감이 중요한 의료 적용 분야에서 분류 정확도를 향상시키기 위해.
• 표준 딥 러닝 파이프라인에 최소한의 수정으로 베이지안 딥 러닝 기법을 구현할 수 있음을 보여주기 위해.
• 베이지안 딥 러닝에서 유도된 불확실성 추정이 임상의가 모호하거나 노이즈가 많은 신호를 식별하고 추가 검토가 필요함을 안내하는 데 기여할 수 있음을 보여주기 위해.
• 다양한 해상도와 임상적 관련성을 지닌 다양한 의료 시간 시리즈 데이터셋에서 이 접근법을 검증하기 위해.

제안 방법

• 테스트 시기 동안 몬테카를로(MC) 드롭아웃을 적용하여 표준 LSTMs를 약간의 수정을 거쳐 근사 베이지안 추론을 수행하도록 변형한다.
• 드롭아웃 단위를 포함한 다수의 순방향 전파를 통해 예측 불확실성을 추정하기 위해 분산을 계산한다.
• 학습 및 추론 모두 동일한 드롭아웃 비율을 사용하며, 표준 드롭아웃에서 사용하는 가중치 스케일링을 생략한다.
• 학습 및 추론 시 드롭아웃 적용 여부를 제외하고는 동일한 아키텍처와 하이퍼파라미터를 사용하여 표준 LSTMs와 베이지안 LSTMs를 학습시킨다.
• MC 샘플에서 예측의 분산에서 유도된 베이지안 신뢰도 점수를 사용하여 확신 있는 예측과 불확실한 예측를 식별한다.
• MNIST(기준으로 사용), PhysioNet 2016(PCM), MIT-BIH(ECG), NICU/TBI(종단적 ICU 데이터)를 포함한 네 가지 의료 시간 시리즈 데이터셋에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표준 LSTMs에 비해 몬테카를로 드롭아웃를 적용한 베이지안 LSTMs가 의료 시간 시리즈 분류에서 정확도를 향상시킬 수 있는가?
• RQ2 베이지안 LSTMs에서 유도된 불확실성 추정이 노이즈가 많거나 비정상적인 신호를 신뢰할 수 있게 식별할 수 있는가?
• RQ3 TBI 및 NICU 신호와 같은 저해상도 종단적 의료 데이터에서 베이지안 접근법이 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 유지 확률(1 - 드롭아웃 비율)의 선택이 LSTMs의 정확도와 불확실성 추정에 어떤 영향을 미치는가?
• RQ5 실시간 임상 환경에서 MC 드롭아웃를 효과적으로 활용하여 예측과 함께 신뢰도 측정값을 제공할 수 있는가?

주요 결과

• 베이지안 LSTMs는 네 가지 의료 데이터셋 전반에서 분류 정확도를 향상시켰으며, TBI 데이터셋에서 가장 높은 상대적 향상률(표준 LSTM 대비 95.21% 대 94.49%)을 기록했다.
• PhysioNet 2016 챌린지 데이터셋에서 베이지안 LSTM은 표준 LSTM의 77.8%에서 79.8%로 정확도 향상을 기록했으며, 민감도(0.707 대 0.675)와 특이도(0.889 대 0.880)도 향상되었다.
• 모델은 신뢰할 수 있는 불확실성 추정을 보였다: 시각적 비교를 통해 노이즈가 많거나 비정상적인 신호에서는 항상 불확실성을 보였다.
• 유지 확률가 0.8 이상일 경우가 LSTMs 학습에 최적임을 발견했으며, 유지 확률가 약 0.5일 경우는 수렴이 불량하고 과적합이 발생했다.
• 표준 모델이 신뢰도 측정값을 제공하지 못하는 저해상도 종단적 데이터(예: NICU 및 TBI)에서도 베이지안 접근법이 의미 있는 불확실성 추정을 제공했다.
• MC 드롭아웃는 계산적으로 실현 가능하고 병렬 처리가 가능했으며, 표준 추론보다 비용이 증가하지만 실시간 임상 환경에서의 온라인 추론을 가능하게 했다.