[논문 리뷰] Graph-Guided Network for Irregularly Sampled Multivariate Time Series

Xiang Zhang, Marko Zeman외 2명|arXiv (Cornell University)|2021. 10. 11.

Machine Learning in Healthcare참고 문헌 38인용 수 24

한 줄 요약

Raindrop는 비정규적으로 샘플링된 다변량 시계열을 다루기 위해 동적이고 샘플별로 특화된 센서 의존성 그래프를 학습하고, 센서 간 정보를 전파하기 위한 새로운 메시지 전달 메커니즘을 사용하는 그래프 신경망이다. 보정 없이도 비정규적이고 희박한 관측치를 처리할 수 있으며, 의료 및 인간 활동 데이터셋에서 최신 기술 대비 F1 점수로 최대 11.4%포인트 향상되어 뛰어난 성능을 입증한다.

ABSTRACT

In many domains, including healthcare, biology, and climate science, time series are irregularly sampled with varying time intervals between successive readouts and different subsets of variables (sensors) observed at different time points. Here, we introduce RAINDROP, a graph neural network that embeds irregularly sampled and multivariate time series while also learning the dynamics of sensors purely from observational data. RAINDROP represents every sample as a separate sensor graph and models time-varying dependencies between sensors with a novel message passing operator. It estimates the latent sensor graph structure and leverages the structure together with nearby observations to predict misaligned readouts. This model can be interpreted as a graph neural network that sends messages over graphs that are optimized for capturing time-varying dependencies among sensors. We use RAINDROP to classify time series and interpret temporal dynamics on three healthcare and human activity datasets. RAINDROP outperforms state-of-the-art methods by up to 11.4% (absolute F1-score points), including techniques that deal with irregular sampling using fixed discretization and set functions. RAINDROP shows superiority in diverse setups, including challenging leave-sensor-out settings.

연구 동기 및 목표

• 비정규적 샘플링, 비정렬된 관측치, 다양한 센서 가용성 등 도전적인 조건에서 다변량 시계열을 모델링하는 문제를 해결하기 위해.
• 보정이나 고정된 이산화에 의존하지 않고 관측 데이터에서 직접 시간에 따라 변화하는 센서 간 의존성을 학습하기 위해.
• 잠재적이고 샘플별로 특화된 그래프로 센서 관계를 모델링하여 표현 학습과 후속 분류 성능를 향상시키기 위해.
• 결측된 센서 데이터가 흔한 '센서 제거 평가'와 같은 어려운 설정에서도 강건한 성능을 보장하기 위해.
• 학습된 그래프 구조를 통해 의미 있는 센서 동역학을 포괄하는 해석 가능한 모델을 제공하기 위해.

제안 방법

• Raindrop는 각 시계열 샘플마다 별도의 잠재적 센서 의존성 그래프를 구성하며, 노드는 센서를 나타내고, 엣지는 학습된 센서 간 관계를 나타낸다.
• 시간적 근접성과 센서 유사성을 고려해 신경 메시지를 센서 그래프를 통해 전파하는 새로운 메시지 전달 연산자를 사용한다.
• 계층적 어텐션 메커니즘을 활용해 시계열 관측치와 그래프 내 이웃 센서의 중요도를 가중한다.
• 노드 표현, 그래프 구조(엣지 가중치를 통한), 어텐션 파라미터를 동시에 최적화하기 위해 미분 가능한 프레임워크를 사용한다.
• 재구성 손실과 분류 손실의 조합을 통해 그래프 구조를 엔드 투 엔드로 훈련하며, 관계적 및 시간적 역학을 함께 최적화한다.
• 모든 샘플 간에 어텐션 가중치를 공유해 공통 패턴을 포착하고 다양한 시계열에 일반화한다.

실험 결과

연구 질문

• RQ1 보정 없이도 비정규적으로 샘플링된 다변량 시계열에서 시간에 따라 변화하는 센서 간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 샘플별로 특화된 센서 그래프를 학습함으로써 표현 학습과 후속 분류 정확도는 어떻게 향상되는가?
• RQ3 고정된 이산화 또는 집합 기반 함수에 의존하는 방법 대비 Raindrop는 비정규 시계열 처리에서 얼마나 뛰어난 성능를 보이는가?
• RQ4 학습된 센서 의존성 그래프는 질병 상태와 같은 후속 레이블과 관련된 의미 있는 패턴을 드러내는가?
• RQ5 센서 데이터가 체계적으로 결측되는 '센서 제거 평가'와 같은 어려운 설정에서 Raindrop는 얼마나 강건한가?

주요 결과

• Raindrop는 의료 및 인간 활동 데이터셋 3종에서 최신 기술 대비 최대 11.4%포인트 높은 F1 점수를 기록하여 뚜렷한 성능 향상을 입증한다.
• Setting 1에서 PAM 데이터셋에서 Raindrop는 F1 점수 47.2 ± 4.4를 기록했으며, 다음으로 우수한 방법보다 11점 이상 높게 성과를 냈다.
• 제거 실험 결과, 센서 간 의존성, 시간 어텐션, 센서 수준의 연결이 최적 성능를 위해 필수적임을 확인했다.
• 학습된 센서 그래프의 시각화 결과에서 긍정적 및 부정적 패혈증 사례 간 명확한 구조적 패턴이 드러나 해석 가능성과 임상적 관련성을 시사한다.
• Raindrop는 센서 제거 평가 설정에서도 잘 일반화되어, 추론 시 전체 센서가 제거되어도 강력한 성능를 유지한다.
• 관측 빈도와 센서 가용성의 변동성이 큰 다양한 설정에서도 Raindrop의 성능는 일관되게 뛰어나다.