[논문 리뷰] Learning Neural Event Functions for Ordinary Differential Equations

Ricky T. Q. Chen, Brandon Amos외 1명|arXiv (Cornell University)|2020. 11. 08.

Model Reduction and Neural Networks참고 문헌 59인용 수 24

한 줄 요약

이 논문은 신경미분방정식(Neural ODEs)을 확장하여, 연속시간 시스템에서 이산적이고 즉각적인 상태 변화를 모델링할 수 있도록 유연한 종료 조건을 학습하는 방법을 제안한다. 이는 사전 정의된 종료 시간 없이도 상태 변화를 유도하는 은닉된 이벤트 함수를 통해 이루어지며, 재구성 가능한 기울기(재구성 기반 기울기)를 통해 엔드 투 엔드 학습이 가능하다. 이는 하이브리드 동역계에서 시점 프로세스 및 이산 제어를 효과적으로 학습하는 데 기여한다.

ABSTRACT

The existing Neural ODE formulation relies on an explicit knowledge of the termination time. We extend Neural ODEs to implicitly defined termination criteria modeled by neural event functions, which can be chained together and differentiated through. Neural Event ODEs are capable of modeling discrete and instantaneous changes in a continuous-time system, without prior knowledge of when these changes should occur or how many such changes should exist. We test our approach in modeling hybrid discrete- and continuous- systems such as switching dynamical systems and collision in multi-body systems, and we propose simulation-based training of point processes with applications in discrete control.

연구 동기 및 목표

• 고정된 종료 시간을 학습 가능한 암묵적 이벤트 함수로 대체하여, 이산적 상태 변화를 유도하는 Neural ODEs의 확장을 목적으로 한다.
• 이벤트의 시점과 영향력이 신경망에 의해 결정되는 이벤트 유도 시스템의 엔드 투 엔드 학습을 가능하게 한다.
• 연속시간 환경에서 시간적 시점 프로세스와 이산 제어 정책의 시뮬레이션 기반 학습을 지원한다.
• 이벤트 발생 위치에 대한 역전파를 ODE 해법기에서 수행하기 위해 기울기 기반 이벤트 함수를 사용하는 방법을 해결한다.
• 반동하는 공, 스위칭 동역학, 생물학적 및 뉴런 시스템의 제어 정책과 같은 하이브리드 시스템을 모델링하는 데 그 방법의 효과성을 입증한다.

제안 방법

• ODESoloveEvent를 ODESolove의 일반화로 제안하며, 통합이 신경 이벤트 함수 $ g(t, z(t), \phi) $ 가 0을 초과할 때 종료된다.
• 이벤트 함수 $ g $ 를 학습 가능한 매개변수 $ \phi $ 를 가진 신경망으로 매개변수화하여, 모델이 상태 변화를 유도할 시점과 방식을 학습할 수 있도록 한다.
• 첨도 감도 방법을 사용하여 ODE 벡터장 $ f $ 와 이벤트 함수 $ g $ 의 기울기를 유도함으로써, 이벤트 발생 시간을 통한 역전파를 가능하게 한다.
• 스토캐스틱 시간적 시점 프로세스의 학습을 위해 재구성 기반 기울기를 활용하여 이벤트 시퀀스의 기울기 기반 샘플링을 가능하게 한다.
• 독립적인 이벤트 시간을 가진 트레이젝터리의 미니배치 처리를 위해 희소 집계기법(예: 최소값 또는 최대값)을 사용한다.
• HIV 치료 및 호드킨-후크스리 뉴런 역학과 같은 연속시간 시스템에서 결정론적 및 스토캐스틱 제어 정책을 학습하는 데 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 신경망은 사전 정의된 종료 시간 없이도 연속시간 시스템에서 상태 불연속성을 유도하는 암묵적 이벤트 함수를 학습할 수 있는가?
• RQ2 이벤트 함수가 기울기 기반 신경망일 경우, 이벤트 발생 시간을 통해 기울기를 역전파할 수 있는가?
• RQ3 이 프레임워크는 연속시간 역학에서 시간적 시점 프로세스와 이산 제어 정책의 엔드 투 엔드 학습을 지원할 수 있는가?
• RQ4 이벤트 수가 변동하는 이벤트 시퀀스 학습에서 재구성 기반 기울기와 REINFORCE 간의 성능 비교는 어떻게 되는가?
• RQ5 기울기 기반 이벤트 함수를 사용하여 결정론적 제어 정책을 연속시간 시스템에서 효과적으로 학습할 수 있는가?

주요 결과

• Neural Event ODEs는 물리 법칙을 정확히 복원하고 기존 Neural ODEs보다 뛰어난 외삽 성능을 보이며, 반동하는 공의 역학을 성공적으로 모델링하였다.
• 재구성 기반 기울기는 특히 더 긴 이벤트 수열(예: 5~10개의 이벤트)에서 REINFORCE보다 더 빠르고 안정적인 학습을 가능하게 하였다.
• HIV 역학 모델에서 이 방법은 두 가지 억제제 유형에 대한 이산적 제어를 통해 효과적인 치료 전략 학습을 달성하였으며, 이는 이전 방법과 동등하거나 슈퍼어리어를 기록하였다.
• 호드킨-후크스리 모델에서 이 방법은 이산 자극 제어를 통해 목표 행동 전위를 성공적으로 모방하는 데 성공하였으며, 결정론적 정책이 스토캐스틱 정책보다 뛰어난 성능을 보였다.
• 이 프레임워크는 이벤트 함수를 학습 가능하게 하여 표준 Neural ODEs를 일반화하였으며, 상태 불연속성을 가진 하이브리드 시스템의 모델링을 가능하게 하였다.
• 이벤트 함수 매개변수의 큰 분산으로 초기화하면, 루트가 발견되지 않을 경우 표준 Neural ODEs로의 분해를 방지하는 데 도움이 된다.