[논문 리뷰] Parameter Estimation with Dense and Convolutional Neural Networks Applied to the FitzHugh-Nagumo ODE

Johann Rudi, Julie Bessac외 1명|arXiv (Cornell University)|2020. 12. 12.

Neural dynamics and brain function참고 문헌 47인용 수 19

한 줄 요약

이 논문은 노이즈가 있는 시계열 데이터로부터 피츠휴-나구모 상미분방정식(ODE)의 매개변수를 추정하기 위해 밀집형 및 컨volution 신경망(CNNs)을 사용하는 딥러닝 프레임워크를 제안한다. 관측 데이터에서 모델 매개변수로의 재구성 맵을 학습시키는 신경망을 통해, 전통적인 최적화 기법이 실패하는 도전적인 비볼록, 비선형 역문제에서도 높은 정확도의 매개변수 추정을 달성하며, 특히 부분적 또는 노이즈가 있는 데이터 처리에서 CNNs가 밀집형 네트워크보다 뛰어난 성능을 보인다.

ABSTRACT

Machine learning algorithms have been successfully used to approximate nonlinear maps under weak assumptions on the structure and properties of the maps. We present deep neural networks using dense and convolutional layers to solve an inverse problem, where we seek to estimate parameters of a FitzHugh-Nagumo model, which consists of a nonlinear system of ordinary differential equations (ODEs). We employ the neural networks to approximate reconstruction maps for model parameter estimation from observational data, where the data comes from the solution of the ODE and takes the form of a time series representing dynamically spiking membrane potential of a biological neuron. We target this dynamical model because of the computational challenges it poses in an inference setting, namely, having a highly nonlinear and nonconvex data misfit term and permitting only weakly informative priors on parameters. These challenges cause traditional optimization to fail and alternative algorithms to exhibit large computational costs. We quantify the prediction errors of model parameters obtained from the neural networks and investigate the effects of network architectures with and without the presence of noise in observational data. We generalize our framework for neural network-based reconstruction maps to simultaneously estimate ODE parameters and parameters of autocorrelated observational noise. Our results demonstrate that deep neural networks have the potential to estimate parameters in dynamical models and stochastic processes, and they are capable of predicting parameters accurately for the FitzHugh-Nagumo model.

연구 동기 및 목표

• 피츠휴-나구모 ODE의 매개변수 추정에서 발생하는 계산적 과제를 해결하기 위해, 약한 정보를 지닌 사전분포를 가진 매우 비선형적이고 비볼록인 손실 함수를 다루는 것.
• 기존 최적화 기법의 실패를 피하기 위해 관측 시계열 데이터에서 ODE 매개변수로의 재구성 맵을 학습하는 딥러닝 기반 프레임워크를 개발하는 것.
• 노이즈 수준과 데이터 완전성 조건이 다양한 상황에서 밀집형 및 컨volution 신경망 아키텍처의 매개변수 추정 성능을 평가하는 것.
• 관측 데이터로부터 ODE 매개변수와 자동상관관계를 가지는 관측 노이즈 매개변수를 동시에 추정할 수 있도록 프레임워크를 확장하는 것.
• 미래의 노이즈 수준이나 부분 관측이 있는 데이터에서 테스트할 때 신경망의 일반화 능력을 평가하는 것.

제안 방법

• 피츠휴-나구모 ODE 해의 시계열 데이터에서 기저 매개변수로의 매핑을 학습시키기 위해 딥 신경망(밀집형 및 CNNs)을 훈련하여, 지도학습을 통해 재구성 맵을 학습하는 것.
• 다양한 매개변수 조합으로 정방 ODE 문제를 여러 차례 풀어 훈련 데이터를 생성하고, 관측 데이터를 시뮬레이션하기 위해 제어된 노이즈를 첨가하는 것.
• 예측 오차를 최소화하기 위해 훈련 중에 평균제곱오차(MSE)를 손실 함수로 사용하여 예측된 매개변수와 진짜 매개변수 간의 오차를 줄이는 것.
• 특히 ODE-노이즈 매개변수 동시 추정에서 노이즈 매개변수 추정 성능 향상을 위해 시계열 데이터의 푸리에 변환을 입력 특징으로 통합하는 것.
• 훈련 안정성과 수렴성을 향상시키기 위해 시계열 및 스펙트럼 데이터에 스케일링 및 정규화(예: scikit-learn를 통한)를 적용하는 것.
• 다양한 네트워크 아키텍처와 데이터 조건에서 예측된 매개변수와 진짜 매개변수 간의 상관관계, R², RMSE 등의 통계적 지표를 사용해 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 피츠휴-나구모 ODE에 의해 지배되는 역문제에서 높은 정확도로 재구성 맵을 효과적으로 근사할 수 있는가?
• RQ2 이상적 조건과 노이즈가 있는 조건에서, 밀집형 네트워크와 컨볼루션 네트워크 간의 ODE 매개변수 추정 성능는 어떻게 비교되는가?
• RQ3 CNNs는 밀집형 네트워크와 달리 부분적 또는 불완전한 시계열 데이터로부터 기저의 동역학적 특성을 탐지할 수 있는가?
• RQ4 훈련 및 테스트 데이터의 노이즈가 신경망 기반 매개변수 추정기의 일반화 능력과 예측 성능에 어떤 영향을 미치는가?
• RQ5 관측 데이터로부터 ODE 매개변수와 자동상관관계를 가지는 노이즈 모델의 매개변수를 동시에 추정할 수 있도록 프레임워크를 확장할 수 있는가?

주요 결과

• 컨볼루션 신경망(CNNs)은 특히 노이즈가 있거나 부분적으로 관측된 데이터를 처리할 경우, 밀집형 네트워크보다 항상 낮은 예측 오차를 기록하며 피츠휴-나구모 ODE 매개변수 추정에서 뛰어난 성능을 보인다.
• CNNs는 시계열 데이터로부터 동역학적 특징을 더 잘 추출할 수 있어, 임의의 부분 관측 데이터에서도 정확한 매개변수 추정이 가능하지만, 밀집형 네트워크는 이러한 경우에 상당히 열등한 성능을 보인다.
• 훈련 데이터는 노이즈가 없지만 테스트 데이터에 새로운 노이즈가 존재할 경우, 밀집형 네트워크가 CNNs보다 더 잘 일반화됨을 확인하여, 노이즈에 대한 강건성과 청결한 데이터에서의 성능 사이에 상충 관계가 있음을 시사한다.
• ODE 매개변수와 노이즈 매개변수를 동시에 추정하는 것은 시계열 데이터와 푸리에 스펙트럼 데이터를 모두 입력으로 사용할 경우에만 가능하고 정확한 성능을 보이며, 스펙트럼 데이터를 생략할 경우 매우 큰 훈련 세트(N=8000)를 사용하지 않으면 성능이 떨어진다.
• 스펙트럼 데이터 없이 시계열 데이터만 사용할 경우 노이즈 매개변수에 대해 음수의 R² 값이 관측되어, 정확한 노이즈 매개변수 복원을 위해 푸리에 스펙트럼이 필수적임을 확인한다.
• 기존 최적화 기법이 실패하는 매우 비선형적이고 비볼록인 역문제에서도 이 프레임워크는 정확한 매개변수 추정을 가능하게 하여, 복잡한 동역학계 추론에 대해 딥러닝의 실현 가능성을 입증한다.