[논문 리뷰] A regularization method for the parameter estimation problem in ordinary differential equations via discrete optimal control theory

Quentin Clairon|arXiv (Cornell University)|2018. 10. 09.

Control Systems and Identification참고 문헌 63인용 수 5

한 줄 요약

이 논문은 사전 스무딩이 필요 없이 연속 최적 제어 프레임워크를 이산 시간 형식으로 재구성함으로써 일반선형미분방정식(ODE)의 매개변수 추정에 대해 계산적으로 효율적인 정규화 방법을 제안한다. 이 방법은 파arametric 수렴 속도를 달성하며, 작은 표본 및 모형 잘못 지정된 경우에 표준 기법보다 뛰어난 성능을 보이며, 최적 제어 궤적을 통한 해석 가능한 잔차를 제공하여 모형 부적합성을 탐지할 수 있다.

ABSTRACT

We present a parameter estimation method in Ordinary Differential Equation (ODE) models. Due to complex relationships between parameters and states the use of standard techniques such as nonlinear least squares can lead to the presence of poorly identifiable parameters. Moreover, ODEs are generally approximations of the true process and the influence of misspecification on inference is often neglected. Methods based on control theory have emerged to regularize the ill posed problem of parameter estimation in this context. However, they are computationally intensive and rely on a nonparametric state estimator known to be biased in the sparse sample case. In this paper, we construct criteria based on discrete control theory which are computationally efficient and bypass the presmoothing step of signal estimation while retaining the benefits of control theory for estimation. We describe how the estimation problem can be turned into a control one and present the numerical methods used to solve it. We show convergence of our estimator in the parametric and well-specified case. For small sample sizes, numerical experiments with models containing poorly identifiable parameters and with various sources of model misspecification demonstrate the acurracy of our method. We finally test our approach on a real data example.

연구 동기 및 목표

• 실제 비identifiable성과 매개변수 민감도의 허술함으로 인해 ODE 매개변수 추정 문제가 잘 정의되지 않는 문제를 해결한다.
• 노이즈가 있는 데이터에 대한 비모수적 사전 스무딩에 의존하는 기존 제어이론 기반 방법에서 발생하는 계산적 병목 현상과 편향 문제를 극복한다.
• 잘 지정된 모형 하에서 일관된 추정량을 제공하고 파arametric 수렴 속도를 달성하면서도 모형 잘못 지정에 강건성을 유지한다.
• 부가 매개변수로 추정할 필요 없이 초기 조건에 대한 프로파일링을 가능하게 한다.
• 최적 제어 궤적의 잔차 분석을 통해 모형 부적합성을 탐지할 수 있도록 한다.

제안 방법

• 연속 최적 제어 프레임워크의 이산 시간 형식을 사용하여 ODE 매개변수 추정 문제를 이산 최적 제어 문제로 재구성한다.
• 관측 데이터와 모형 예측 간의 차이를 기반으로 비용 함수를 구성하고, 최적 제어 입력의 노름으로 정규화한다.
• 연속 민감도 방정식을 해결하지 않기 위해 ODE 동역학의 이산 시간 근사법을 사용하여 계산 비용을 감소시킨다.
• 이산 최대 원리를 적용하여 최적성의 필요 조건을 유도하고, 이를 수치적으로 두점 경계값 문제로 해결한다.
• 초기 조건을 제어 벡터의 일부로 간주하여 초기 조건에 대한 프로파일링을 수행함으로써 별도의 추정이 필요 없도록 한다.
• 최종적으로 도출된 최적 제어 궤적을 모형 잔차로 활용하여 체계적인 모형 잘못 지정 여부를 탐지한다.

실험 결과

연구 질문

• RQ1 이산 최적 제어 형식은 연속 제어 기반 ODE 매개변수 추정의 일관성 있고 효율적인 대안이 될 수 있는가?
• RQ2 이론적 점근적 성질이 실패하는 작은 표본 영역에서 제안된 방법의 성능은 어떠한가?
• RQ3 최적 제어 궤적은 얼마나 잘 모형 잘못 지정를 진단하는 데 도움이 되는가?
• RQ4 예를 들어 기능 형태 오류나 생략된 변수 등 다양한 형태의 모형 잘못 지정에 대해 이 방법은 강건성을 유지하는가?
• RQ5 민감도 행렬의 허술함으로 인해 잘 정의되지 않는 매개변수를 효과적으로 다룰 수 있는가?

주요 결과

• 잘 지정된 모형 하에서 제안된 추정량은 파arametric 수렴 속도를 달성하여 일관성과 효율성을 입증한다.
• 잘 정의되지 않은 매개변수를 가진 작은 표본 시뮬레이션에서, 비선형 최소제곱법과 일반화된 프로파일링에 비해 추정 정확도와 안정성 면에서 뚜렷한 우월성을 보였다.
• 실제 데이터에서 최적 제어 궤적은 다양한 주체 간에 공통된 패턴을 보이며, 기존 잔차로는 포착되지 않는 체계적인 모형 부적합성을 시사한다.
• 실제 데이터 예제에서 이 방법은 스틴 추정량과는 다른 부호의 매개변수 추정치를 도출하여 모형 불확실성에 대한 더 뛰어난 강건성을 시사한다.
• 추가적인 부가 매개변수를 도입하지 않고도 초기 조건에 대한 프로파일링을 성공적으로 수행하여 추정 프레임워크를 단순화시켰다.