[논문 리뷰] Multi-view Integration Learning for Irregularly-sampled Clinical Time Series

Yurim Lee, Eunji Jun외 1명|arXiv (Cornell University)|2021. 01. 25.

Machine Learning in Healthcare참고 문헌 22인용 수 4

한 줄 요약

이 논문은 데이터 보간 없이 자기주의 어텐션 메커니즘을 사용하여 비등간격으로 샘플링된 임상 시간 시리즈에 대한 다중 시각 통합 학습 프레임워크를 제안한다. 자기주의 어텐션 기반의 다중 통합 어텐션 모듈(MIAM)을 도입하여 관측치, 누락 지표, 연속 관측 간 간격을 함께 모델링하며, 학습 단계에서 어텐션 기반 디코더를 보조 보간기로 활용하여 표현 학습을 향상시킨다. 이로 인해 MIMIC-III 및 PhysioNet 2012에서 입원 중 사망 예측 과제에서 최신 기준 성능을 달성한다.

ABSTRACT

Electronic health record (EHR) data is sparse and irregular as it is recorded at irregular time intervals, and different clinical variables are measured at each observation point. In this work, we propose a multi-view features integration learning from irregular multivariate time series data by self-attention mechanism in an imputation-free manner. Specifically, we devise a novel multi-integration attention module (MIAM) to extract complex information inherent in irregular time series data. In particular, we explicitly learn the relationships among the observed values, missing indicators, and time interval between the consecutive observations, simultaneously. The rationale behind our approach is the use of human knowledge such as what to measure and when to measure in different situations, which are indirectly represented in the data. In addition, we build an attention-based decoder as a missing value imputer that helps empower the representation learning of the inter-relations among multi-view observations for the prediction task, which operates at the training phase only. We validated the effectiveness of our method over the public MIMIC-III and PhysioNet challenge 2012 datasets by comparing with and outperforming the state-of-the-art methods for in-hospital mortality prediction.

연구 동기 및 목표

• 관측치가 희소하고 시간적으로 비일치하는 다변량 임상 시간 시리즈 데이터로부터 효과적인 표현을 학습하는 데 도전하는 것.
• 특히 관측 간 간격과 누락 지표를 포함한 정보적 누락 패턴을 임상 측정치와 통합된 표현 공간에서 함께 모델링하는 것.
• 학습 기간 동안에만 어텐션 기반 디코더를 보조 보간기로 활용하여 데이터 누출 및 명시적 보간으로 인한 노이즈를 피하는, 보간 없는 딥 러닝 프레임워크를 개발하는 것.
• 실제 EHR 데이터셋인 MIMIC-III 및 PhysioNet 2012에서 기존 최신 기준 방법들을 능가하는 입원 중 사망 예측 성능을 달성하는 것.

제안 방법

• 관측치, 누락 지표, 연속 관측 간 간격 간의 관계를 명시적으로 모델링하는 다중 통합 어텐션 모듈(MIAM)을 도입한다.
• 모든 시간 포인트를 동시에 고려함으로써 비등간격 시간 시리즈에서 복잡한 장거리 의존성을 학습하는 자기주의 어휘 메커니즘을 사용하여 병렬 처리와 글로벌 컨텍스트 모델링을 가능하게 한다.
• 학습 기간 동안 작동하는 보조 보간기 역할을 하는 어텐션 기반 디코더를 구성하여, 다중 시각 관측치 간의 상호관계 표현을 강화한다.
• 원시 관측치(X), 누락 지표(M), 시간 간격(Δ)을 조합한 다중 시각 입력 형식을 도입하며, 이들은 MIAM에서 함께 처리되어 통합 표현을 학습한다.
• 표준 사인파형 인코딩을 대체하여 비등간격 시간 간격에 적합한 위치 인코딩을 적용하여 임상 데이터의 시간 역학을 더 잘 반영한다.
• 입원 중 사망 예측을 위한 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 학습하며, 보조 보간기는 학습 기간 동안만 활성화되어 추론 시 데이터 누출을 방지한다.

실험 결과

연구 질문

• RQ1 관측치, 누락 지표, 시간 간격을 함께 모델링하면 비등간격 임상 시간 시리즈의 표현 학습 성능이 향상되는가?
• RQ2 학습 단계에서만 작동하는 어텐션 기반 보조 보간기가 추론 시 명시적 보간 없이도 예측 성능을 향상시키는가?
• RQ3 X, M, Δ의 다중 시각 통합 방식이 단일 또는 이중 시각 모델링 방식보다 예측 정확도에서 어떻게 비교되는가?
• RQ4 제안된 보간 없는 프레임워크는 명시적 보간 또는 시간 이산화에 의존하는 최신 기준 방법들보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 MIMIC-III에서 AUC 0.8534 ± 0.0071, PhysioNet 2012에서 AUC 0.8231 ± 0.0221을 기록하여 입원 중 사망 예측 과제에서 최신 기준 방법들을 능가했다.
• 관측치(X), 누락 지표(M), 시간 간격(Δ)의 세 시각을 모두 MIAM에 통합함으로써 최고의 성능를 달성하여 다중 시각 통합의 가치를 입증했다.
• 제거 실험 결과, 보조 보간기 없이 기준 모델 대비 어텐션 기반 보조 보간기가 성능 향상을 이끌었으며, MIMIC-III에서 AUC는 0.8373에서 0.8534로, PhysioNet에서 0.8137에서 0.8231로 상승했다.
• 보조 보간기를 학습 기간 동안만 사용하는 것으로도 BRITS와 같은 명시적 보간 방법과 유사한 성능을 달성하여, 추론 시 명시적 보간이 반드시 필요하지 않음을 시사했다.
• 세 시각 통합(X + M + Δ) 모델은 MIMIC-III 및 PhysioNet 양측 데이터셋에서 단일 시각(X만) 및 이중 시각(X+M 또는 X+Δ) 구성보다 뛰어난 성능을 보였다.
• 정보적 누락 패턴을 명시적으로 모델링할 경우, 비등간격 EHR 데이터에서 더 나은 표현 학습과 향상된 예측 성능을 달성할 수 있음을 입증했다.