[논문 리뷰] On Parameter Estimation of the Hidden Gaussian Process in perturbed SDE

Yury A. Kutoyants, Li Zhou|arXiv (Cornell University)|2019. 04. 22.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 20인용 수 4

한 줄 요약

이 논문은 소음이 작은 근사 및 칼만-부체 필터링을 활용하여, 교란된 선형 SDE 시스템 내에 존재하는 숨겨진 가우시안 과정의 파라미터에 대한 일단계 MLE-과정 추정기들을 제안한다. 이러한 추정기들은 MLE와 동일한 渐近적 효율성, 정규성 및 일致성을 확보하면서도 계산적으로 더 단순하며, 초기 관측치로부터의 사전 추정기와 단일 보정 단계를 통해 점수 함수를 이용한다.

ABSTRACT

We present results on parameter estimation and non-parameter estimation of the linear partially observed Gaussian system of stochastic differential equations. We propose new one-step estimators which have the same asymptotic properties as the MLE, but much more simple to calculate, the estimators are so-called "estimator-processes". The construction of the estimators is based on the equations of Kalman-Bucy filtration and the asymptotic corresponds to the small noises in the observations and state (hidden process) equations. We propose conditions which provide the consistency and asymptotic normality and asymptotic efficiency of the estimators.

연구 동기 및 목표

• 숨겨진 가우시안 과정을 포함하는 부분적으로 관측 가능한 선형 SDE에 대해 MLE와 동일한 渐近적 성질을 가지되 계산적으로 효율적인 추정기를 개발하기 위해.
• 표준 MLE 및 베이즈 추정기의 높은 계산 비용 문제를 해결하기 위해, 모든 파라미터 값에 대해 복잡한 우도 비율 함수를 풀어야 하는 점을 고려하여.
• 소음이 작은 조건 하에서 보장된 渐近적 효율성과 정규성을 갖는 시간에 따라 변화하는 파라미터 추정치를 제공하는 추정기 과정을 구축하기 위해.
• 소음이 작아지는 극한에서 제안된 일단계 추정기의 일치성, 渐近적 정규성 및 효율성에 대한 충분한 조건을 설정하기 위해.

제안 방법

• 두 단계 절차를 사용: 먼저, 작은 초기 간격 $[0, \tau_{\varepsilon}]$ 에서 $\tau_{\varepsilon} = \varepsilon^{\delta}$, $\delta \in (0, 2/3)$ 를 사용하여 사전 추정기 $\bar{\vartheta}_{\tau_{\varepsilon}}$ 를 확보한다.
• 초기 추정기를 $[\tau_{\varepsilon}, t]$ 기간 동안 점수 함수를 이용하여 보정함으로써 일단계 MLE $\vartheta_{t,\varepsilon}^{*}$ 를 구성한다.
• 점수 함수에 필수적인 조건부 기대값 $m(\vartheta, t)$ 와 조건부 분산 $\gamma(\vartheta, t)$ 를 계산하기 위해 칼만-부체 필터링 식을 활용한다.
• 일단계 MLE 구조를 적용: $\vartheta_{t,\varepsilon}^{*} = \bar{\vartheta}_{\tau_{\varepsilon}} + I_{\tau_{\varepsilon}}^{-1} \int_{\tau_{\varepsilon}}^{t} \frac{\dot{M}}{\sigma^2} \left[ dX_s - f m ds \right]$, 여기서 $M$ 은 점수 함수이다.
• 소음이 점점 작아지는 극한에서 추정기들이 MLE와 동일한 渐近적 효율성과 정규성을 확보하며, 분산이 $I(\vartheta_0)^{-1}$ 로 수렴하도록 보장한다.
• 비정규 케이스 처리를 위해 관측 간격을 분할하고, 도함수 조건 $|\dot{f}(\vartheta,0)| > 0$ 또는 $|\dot{a}(\vartheta,0)| > 0$ 가 만족되는 부분 간격에 대해 필터링을 적용한다.

실험 결과

연구 질문

• RQ1 부분적으로 관측 가능한 선형 SDE에 대해 숨겨진 가우시안 과정을 포함하는 경우, MLE와 동일한 渐近적 성질을 가지되 계산적으로 효율적인 추정기를 구성할 수 있는가?
• RQ2 소음이 작은 극한에서 일단계 MLE-과정 추정기의 일치성과 渐近적 정규성을 보장하는 조건은 무엇인가?
• RQ3 초기 도함수 조건 $|\dot{f}(\vartheta,0)| > 0$ 또는 $|\dot{a}(\vartheta,0)| > 0$ 가 만족되지 않을 경우, 일단계 MLE는 어떻게 적응할 수 있는가?
• RQ4 사전 추정기의 추정 오차를 최소화하기 위해, 학습 간격 길이 $\tau_{\varepsilon} = \varepsilon^{\delta}$ 의 최적 선택은 무엇인가?
• RQ5 일단계 MLE-과정은 다차원 파라미터 및 관측 과정으로 확장될 수 있는가?

주요 결과

• 일단계 MLE-과정 $\vartheta_{t,\varepsilon}^{*}$ 는 MLE와 동일한 渐近적 분포를 갖는다: $\varepsilon \to 0$ 일 때 $\frac{\vartheta_{t,\varepsilon}^{*} - \vartheta_0}{\varepsilon} \Rightarrow \mathcal{N}(0, I(\vartheta_0)^{-1})$.
• 사전 추정기 $\bar{\vartheta}_{\tau_{\varepsilon}}$ 는 $\delta \in (0, 2/3)$ 일 때 일치성이 있으며, 최적의 $\delta = 2/5$ 는 평균 제곱오차 $C(\varepsilon^{2\delta} + \varepsilon^{2-3\delta})$ 를 최소화한다.
• 추정기들은 渐近적 효율성을 확보하며, 크래머-라오 하한을 충족하며, MLE와 동일한 피셔 정보 구조를 이어받는다.
• 점수 함수의 계산이 가능하도록, $m(\vartheta,t)$ 와 $\gamma(\vartheta,t)$ 를 위한 칼만-부체 필터링 식에 의존한다.
• $|\dot{f}(\vartheta,0)| = 0$ 이며 $|\dot{a}(\vartheta,0)| = 0$ 인 경우, 간격을 분할하고 도함수 조건이 만족되는 부분 간격에 대해 필터링을 적용함으로써 방법이 적응된다.
• 다차원 $\vartheta$ 의 경우, $k \geq d$ 개의 관측 과정이 존재할 경우, 식별성과 일致성 있는 추정이 보장되므로 방법이 확장된다.