[논문 리뷰] Attend and Diagnose: Clinical Time Series Analysis using Attention Models

Huan Song, Deepta Rajan외 2명|arXiv (Cornell University)|2017. 11. 10.

Machine Learning in Healthcare참고 문헌 20인용 수 42

한 줄 요약

이 논문은 임상 시계열 분석을 위한 새로운 자기주의 기반 아키텍처인 SAnD(Simply Attend and Diagnose)를 소개한다. 이는 순환 신경망을 대체하기 위해 마스크된 멀티헤드 어텐션 메커니즘을 사용하며, 시계열 순서를 모델링하기 위해 위치 인코딩과 조밀한 보간법을 통합한다. SAnD는 여러 MIMIC-III 기준 테스크에서 최신 기술 수준의 성능을 달성하여, 사망 예측, 악화 탐지, 입원 기간 예측, 표현형 분류 등에서 LSTM 기반 모델과 전통적 기준 모델을 능가한다.

ABSTRACT

With widespread adoption of electronic health records, there is an increased emphasis for predictive models that can effectively deal with clinical time-series data. Powered by Recurrent Neural Network (RNN) architectures with Long Short-Term Memory (LSTM) units, deep neural networks have achieved state-of-the-art results in several clinical prediction tasks. Despite the success of RNNs, its sequential nature prohibits parallelized computing, thus making it inefficient particularly when processing long sequences. Recently, architectures which are based solely on attention mechanisms have shown remarkable success in transduction tasks in NLP, while being computationally superior. In this paper, for the first time, we utilize attention models for clinical time-series modeling, thereby dispensing recurrence entirely. We develop the extit{SAnD} (Simply Attend and Diagnose) architecture, which employs a masked, self-attention mechanism, and uses positional encoding and dense interpolation strategies for incorporating temporal order. Furthermore, we develop a multi-task variant of extit{SAnD} to jointly infer models with multiple diagnosis tasks. Using the recent MIMIC-III benchmark datasets, we demonstrate that the proposed approach achieves state-of-the-art performance in all tasks, outperforming LSTM models and classical baselines with hand-engineered features.

연구 동기 및 목표

• 장기적인 임상 시계열을 모델링할 때 RNN의 계산 비효율성과 순차적 종속성 한계를 해결하기 위해.
• 자기주의 메커니즘이 재귀 없이도 효과적으로 임상 시계열을 모델링할 수 있는지 탐색하기 위해.
• 위치 인코딩과 조밀한 보간법을 사용하여 어텐션 기반 표현에 시간 순서를 통합하기 위해.
• 표준화된 MIMIC-III 기준 테스크를 통해 다양한 임상 예측 과제에서 제안된 모델을 평가하기 위해.
• SAnD를 사용한 다중 과제 학습이 통합 진단 모델링에 효과적인지 조사하기 위해.

제안 방법

• 단일 시퀀스 내의 종속성을 모델링하고 인과성을 보장하기 위해 마스크된 멀티헤드 자기주의 메커니즘을 제안한다.
• 시퀀스 내 상대적 시간 스텝 정보를 유지하기 위해 위치 인코딩을 통합한다.
• 결측치를 추정함으로써 비정규적으로 샘플링된 임상 시계열 데이터를 처리하기 위해 조밀한 보간 임베딩을 활용한다.
• 학습 안정성을 확보하기 위해 잔차 연결과 레이어 정규화를 적용한다.
• 성능 최적화를 위해 하이퍼파라미터(모델: 어텐션 레이어 수 N, 조밀한 보간 인자 M, 시퀀스 해상도 r)에 대한 그리드 서치를 수행한다.
• 사망, 악화, 입원 기간, 표현형 분류를 동시에 최적화하기 위해 가중치가 부여된 손실 함수를 사용한 다중 과제 학습을 적용한다.

실험 결과

연구 질문

• RQ1 재귀 없이 자기주의 메커니즘이 단독으로 임상 시계열 모델링에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 위치 인코딩과 조밀한 보간법은 비정규적으로 샘플링된 임상 데이터의 시간 순서를 얼마나 효과적으로 포착하는가?
• RQ3 SAnD 아키텍처는 표준 MIMIC-III 기준 테스크에서 LSTM 기반 모델과 수작업 특징 기반 기준 모델을 능가하는가?
• RQ4 SAnD를 사용한 다중 과제 학습이 다양한 임상 예측 과제에서 일반화 능력과 성능을 향상시키는가?
• RQ5 다양한 임상 과제에서 최적의 성능을 내는 하이퍼파라미터 설정(예: 레이어 수, 보간 인자)은 무엇인가?

주요 결과

• SAnD는 사망 예측, 생리학적 악화 탐지, 입원 기간 예측, 표현형 분류의 네 가지 MIMIC-III 기준 테스크에서 모두 최신 기술 수준의 성능을 달성한다.
• 병원 내 사망 예측에서 SAnD는 AUROC 0.892와 AUPRC 0.587을 기록하여 최고의 LSTM 기준 모델을 능가한다.
• 악화 탐지 과제에서 SAnD는 AUROC 0.856과 AUPRC 0.421을 기록하여 이전 최고 기술 수준의 방법들을 뛰어넘는 성능을 보였다.
• 입원 기간 예측 과제에서 SAnD는 코HEN의 가중 카파 0.432와 MAPE 42.1%를 기록하여 LSTM 기반 모델을 능가했다.
• 다중 과제 SAnD 버전은 모든 과제에서 최고의 성능을 기록했으며, 일반화 능력 향상과 과적합 감소 효과가 특히 자료가 적은 환경에서 두드러졌다.
• 최적의 하이퍼파라미터 설정은 과제에 따라 달라졌다: 사망 예측에선 N=4, M=12; 악화 탐지에선 N=1, M=10; 입원 기간 예측에선 N=3, M=12; 다중 과제 학습의 표현형 분류에선 N=2, M=36였다.