[논문 리뷰] Neural Ordinary Differential Equations for Intervention Modeling

Daehoon Gwak, Gyuhyeon Sim외 4명|arXiv (Cornell University)|2020. 10. 16.

Machine Learning in Healthcare참고 문헌 1인용 수 6

한 줄 요약

이 논문은 관찰 기반의 동역학과 외부 간섭 효과를 별도로 모델링하는 두 개의 ODE를 사용함으로써 자율 시스템 동역학과 외부 간섭을 분리하는 새로운 신경ODE 프레임워크인 IMODE를 제안한다. 합성 데이터 및 실제 의료 시계열 데이터에 대한 실험 결과, 기존 방법들보다 간섭 효과를 더 잘 모델링하면서도 동역학과 간섭 영향을 해석 가능한 방식으로 분리함을 입증하였다.

ABSTRACT

By interpreting the forward dynamics of the latent representation of neural networks as an ordinary differential equation, Neural Ordinary Differential Equation (Neural ODE) emerged as an effective framework for modeling a system dynamics in the continuous time domain. However, real-world systems often involves external interventions that cause changes in the system dynamics such as a moving ball coming in contact with another ball, or such as a patient being administered with particular drug. Neural ODE and a number of its recent variants, however, are not suitable for modeling such interventions as they do not properly model the observations and the interventions separately. In this paper, we propose a novel neural ODE-based approach (IMODE) that properly model the effect of external interventions by employing two ODE functions to separately handle the observations and the interventions. Using both synthetic and real-world time-series datasets involving interventions, our experimental results consistently demonstrate the superiority of IMODE compared to existing approaches.

연구 동기 및 목표

• 기존 신경ODE 모델이 외부 간섭으로 인해 변화하는 시스템 동역학을 다루는 데에 한계가 있음을 해결하기 위해.
• 시스템의 자율적 진화와 외부 간섭의 영향을 별도로 모델링하는 방법을 개발하기 위해.
• 연속 시간 동적 시스템에서 간섭 효과를 해석 가능하고 분리된 방식으로 모델링하기 위해.
• 불규칙하거나 영향력 있는 간섭이 포함된 시간시계열 데이터에서 예측 정확도를 향상시키기 위해.

제안 방법

• IMODE는 두 개의 별도된 ODE 함수를 사용한다: 하나는 관측 기반 시스템 상태의 자율적 동역학을 모델링하고, 다른 하나는 외부 간섭의 영향을 모델링한다.
• 간섭 ODE는 간섭 입력과 시간을 입력으로 받아 시스템 동역학을 갱신하는 신경망으로 파arameter화되며, 상태를 직접 수정하는 것이 아니라 동역학을 변화시킨다.
• 잠재 상태는 두 구성요소로 분해된다: $\mathbf{z}_x$는 자율적 동역학을 위한 것이고, $\mathbf{z}_a$는 간섭 영향을 위한 것이다. 이로써 동역학과 간섭 영향이 분리된다.
• 모델은 변동형 추론을 사용하여 엔드 투 엔드로 훈련되며, 병합된 ODE의 수치적 적분을 통해 시스템 상태가 갱신된다.
• 이 프레임워크는 이산적이고 연속적인 간섭 모두를 지원하며, 감쇠되거나 영구적인 효과를 포함한다.
• 실제 의료 데이터에 적합하기 위해, 다중 치료 예측에는 시그모이드 활성화를 사용하고, 연속 간섭 설정에서는 기울기 반전 레이어를 제거하였다.

실험 결과

연구 질문

• RQ1 신경ODE 기반 모델이 자율 시스템 동역학과 외부 간섭을 효과적으로 분리할 수 있는가?
• RQ2 IMODE는 합성 및 실제 시간시계열 데이터에서 기존 간섭 모델링 기준선 대비 어떻게 성능을 내는가?
• RQ3 IMODE의 분리된 표현 방식이 간섭 영향의 더 해석 가능한 모델링을 가능하게 하는가?
• RQ4 IMODE는 불규칙하고 다중 모달 간섭을 포함한 복잡한 실제 의료 시간시계열 데이터로 일반화 가능한가?

주요 결과

• IMODE는 합성 데이터와 eICU 데이터셋 모두에서 ODE-RNN, RNN-Decay 등 기존 기준선 대비 간섭이 있는 상황에서 시간시계열 궤적 예측에서 일관되게 뛰어난 성능을 보였다.
• eICU 데이터셋에서 IMODE는 노레피네프린 투여 이후에도 수축기 혈압, 이완기 혈압, 평균 혈압의 궤적을 가장 정확하게 예측하였다.
• 자율 동역학을 위한 $\mathbf{z}_x$의 $L_2$ 노름은 시간이 지남에 따라 안정적으로 유지되었으며, 이는 자율 동역학 모델링의 강건성을 시사한다. 반면 $||\mathbf{z}_a||_2$는 간섭 시점에 급격히 증가하고 점차 감쇠됨을 확인하여 간섭 영향의 분리가 성공적으로 이루어졌음을 입증한다.
• 합성 실험에서 IMODE는 감쇠되는 간섭 효과와 영구적 이동을 정확히 포착한 반면, 기준선들은 간섭 영향을 정확히 모델링하지 못했다.
• 모델 행동 분석 결과, 간섭 영향이 시스템 동역학과 별도로 학습됨을 확인하여 분리 목적의 타당성을 검증하였다.
• Moving Ball 및 지수 감쇠와 같은 연속적이고 예측 불가능한 간섭 상황에서, 치료 분류기가 비활성화된 경우 IMODE는 CRN보다 우수한 성능을 보였으며, 이는 더 뛰어난 일반화 능력을 보여주었다.