[논문 리뷰] Calibrating multi-dimensional complex ODE from noisy data via deep neural networks

Kexuan Li, Fangfang Wang외 3명|arXiv (Cornell University)|2021. 06. 07.

Model Reduction and Neural Networks참고 문헌 30인용 수 4

한 줄 요약

이 논문은 잡음이 많고 비정규 간격으로 측정된 데이터로부터 고차원 비선형 미분방정식을 校정하기 위해 이단계적 딥러닝 프레임워크를 제안한다. 첫 번째 단계에서는 경계 커널 스무딩을 통해 데이터 노이즈를 제거하고 도함수를 추정하며, 두 번째 단계에서는 ReLU 활성화를 갖는 희박하게 연결된 딥 네ural 네트워크가 미분방정식의 우변을 모델링한다. 이는 모듈러 구조 가정 하에 일致된 추정을 달성하며, 차원에 관계없이 이론적 수렴 속도를 확보한다. 시뮬레이션과 미국 코로나19 사례 연구에서 검증되었다.

ABSTRACT

Ordinary differential equations (ODEs) are widely used to model complex dynamics that arises in biology, chemistry, engineering, finance, physics, etc. Calibration of a complicated ODE system using noisy data is generally very difficult. In this work, we propose a two-stage nonparametric approach to address this problem. We first extract the de-noised data and their higher order derivatives using boundary kernel method, and then feed them into a sparsely connected deep neural network with ReLU activation function. Our method is able to recover the ODE system without being subject to the curse of dimensionality and complicated ODE structure. When the ODE possesses a general modular structure, with each modular component involving only a few input variables, and the network architecture is properly chosen, our method is proven to be consistent. Theoretical properties are corroborated by an extensive simulation study that demonstrates the validity and effectiveness of the proposed method. Finally, we use our method to simultaneously characterize the growth rate of Covid-19 infection cases from 50 states of the USA.

연구 동기 및 목표

• 데이터가 노이즈가 많고 비정규 간격이며 이질적으로 관측될 때 다차원 비선형 ODE를 校정하는 데 도전하는 문제를 해결하기 위해.
• 고차원 ODE 시스템에서 차원의 저주를 피하는 비모수적 추정 방법을 개발하기 위해.
• 모듈러 기능 구조 하에서 딥 네럴 네트워크를 통한 ODE 추정의 이론적 일치성과 수렴 속도 보장을 제공하기 위해.
• 에피데미올로지 모델링에서 지리적으로 인접한 주들처럼 상호의존적인 시스템 간의 ODE 구성 요소를 함께 추정할 수 있도록 하기 위해.
• 신경망 아키텍처에 특징 선택을 통합하여 해석 가능성과 정확도를 향상시키기 위해.

제안 방법

• 1단계에서는 경계 커널 방법을 사용하여 노이즈가 있는 비정규 간격 관측치로부터 진짜 상태 변수와 그 고차 도함수를 추정한다.
• 2단계에서는 ReLU 활성화를 갖는 희박하게 연결된 순방향 신경망을 사용하여 ODE의 우변 함수 f₀를 근사한다.
• 이 방법은 f₀의 각 성분이 입력 변수의 소수의 부분집합에만 의존하는 일반적인 모듈러 구조를 가정한다 (예: x, x⁽¹⁾, ..., x⁽ᵛ⁻¹⁾).
• 부드러움과 모듈러 구조에 대한 약한 가정 하에 이론적 일치성이 확립되며, 수렴 속도는 네트워크의 깊이, 넓이, 함수의 부드러움에 따라 달라지며 전체 차원 d에 의존하지 않는다.
• Lemhadri 등 (2021)의 방법에 기반한 특징 선택 기법을 사용하여 각 ODE 구성 요소에 가장 관련성이 높은 입력 변수를 식별한다.
• 프레임워크는 광범위한 시뮬레이션을 통해 검증되었으며, 공간적 의존성을 포함하여 미국 주별 일일 코로나19 확진자 수 증가율을 추정하는 데 적용되었다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 비정규 간격으로 샘플링된 데이터에서 딥 네럴 네트워크가 고차원 비선형 ODE 시스템의 우변을 일관되게 추정할 수 있는가?
• RQ2 진짜 함수가 복잡하고 고차원일지라도, 제안된 방법이 ODE 校정에서 차원의 저주를 피할 수 있는가?
• RQ3 예를 들어 미국의 인접한 주들처럼 상호의존적인 시스템 간의 공동 추정은 개별 추정보다 정확도를 어떻게 향상시키는가?
• RQ4 모듈러 ODE 구조 하에서 신경망 추정기의 이론적 수렴 속도는 무엇인가?
• RQ5 신경망 내부의 특징 선택이 각 ODE 구성 요소에 영향을 주는 가장 관련성 있는 변수를 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 방법은 일반적인 모듈러 구조 하에서 ODE의 우변 함수 f₀에 대해 일관된 추정을 달성하며, 수렴 속도가 시스템의 차원 d에 관계없이 독립적이다.
• 이론적 분석에 따르면 수렴 속도는 f₀의 부드러움, 신경망의 깊이와 넓이, 노이즈 수준에 따라 결정되며 상태 변수의 수에는 영향을 받지 않는다.
• 시뮬레이션 결과에서 이 방법은 특히 고차원 및 노이즈가 많은 환경에서 전통적인 비모수적 도함수 추정 방법보다 뛰어난 성능을 보였다.
• 실제로 미국 주별 코로나19 증가율을 공동으로 추정함으로써 개별 추정보다 더 일관되고 지리적으로 타당한 결과를 도출하였으며, 인접한 주들 간에 동기화된 추세를 보였다.
• 특징 선택은 매사추세츠의 영향력 있는 주로 뉴욕, 로드아일랜드, 코네티컷 주를 식별하여 타당한 지역 전파 역학을 반영하였다.
• 이 방법은 성장률이 최고점에 도달한 지 약 한 달 후에 일일 신규 확진자 수의 최고점이 올 것임을 성공적으로 예측하여 예측 가능성의 유용성을 입증하였다.