[논문 리뷰] Identification of Stochastic Wiener Systems using Indirect Inference

Bo Wahlberg, James S. Welsh외 1명|arXiv (Cornell University)|2015. 07. 20.

Control Systems and Identification참고 문헌 10인용 수 4

한 줄 요약

이 논문은 최적의 선형 근사(_BLA_)를 보조 모델로 사용하여, 공정 노이즈와 비선형 출력 센서를 갖는 스토케스틱 위너 시스템—선형 동적 시스템—을 식별하기 위한 간접 추정 방법을 제안한다. 두 번째 단계 추정 과정에서 최적의 불확실성 가중치를 적용함으로써, 최대우도 추정 및 예측오차 최소화 방법과 유사한 통계적 성능을 달성하면서도 계산 비용을 크게 감소시킨다.

ABSTRACT

We study identification of stochastic Wiener dynamic systems using so-called indirect inference. The main idea is to first fit an auxiliary model to the observed data and then in a second step, often by simulation, fit a more structured model to the estimated auxiliary model. This two-step procedure can be used when the direct maximum-likelihood estimate is difficult or intractable to compute. One such example is the identification of stochastic Wiener systems, i.e.,~linear dynamic systems with process noise where the output is measured using a non-linear sensor with additive measurement noise. It is in principle possible to evaluate the log-likelihood cost function using numerical integration, but the corresponding optimization problem can be quite intricate. This motivates studying consistent, but sub-optimal, identification methods for stochastic Wiener systems. We will consider indirect inference using the best linear approximation as an auxiliary model. We show that the key to obtain a reliable estimate is to use uncertainty weighting when fitting the stochastic Wiener model to the auxiliary model estimate. The main technical contribution of this paper is the corresponding asymptotic variance analysis. A numerical evaluation is presented based on a first-order finite impulse response system with a cubic non-linearity, for which certain illustrative analytic properties are derived.

연구 동기 및 목표

• 비선형성으로 인해 직접적인 최대우도 추정이 계산적으로 비현실적이 되는 스토케스틱 위너 시스템 식별 문제를 해결하기 위해.
• 일관된, 비최적의 매개변수 추정을 위해 보조 모델로 최적의 선형 근사(BLA)를 사용한 간접 추정의 활용을 조사하기 위해.
• 위너 시스템에 대한 간접 추정기의 점근적 분산을 유도하고 검증하기 위해.
• 특히 고차수 BLA 모델을 사용할 경우, 두 번째 단계 추정에서 최적의 가중치가 신뢰할 수 있는 성능을 확보하는 데 필수적임을 보여주기 위해.
• 제안된 방법의 통계적 효율성과 계산 효율성을 최대우도 추정 및 가중 예측오차 최소화 방법과 비교하기 위해.

제안 방법

• 관측된 입력-출력 데이터로부터 추정된 최적의 선형 근사(BLA)를 보조 모델로 사용하기 위해.
• 간접 추정 적용: 두 번째 단계에서 시뮬레이션 기반 최적화를 통해 추정된 BLA 매개변수에 맞추어 구조화된 스토케스틱 위너 모델을 피팅하기 위해.
• 두 번째 단계 비용 함수에 불확실성 가중치를 통합하여, BLA 추정치의 점근적 공분산 행렬의 역행렬을 사용하기 위해.
• 시스템 식별 이론을 활용하여 간접 추정기의 점근적 분산을 유도하고, 가중치 행렬에 대한 명시적 표현을 도출하기 위해.
• 일차 FIR 시스템에 대한 제곱 비선형성을 갖는 경우, 두 번째 단계 최적화의 해석적 해를 사용하여 정확한 성능 평가를 가능하게 하기 위해.
• 가우시안 및 균일 분포 입력 신호를 사용한 몬테카를로 시뮬레이션을 통해, 최대우도 추정 및 예측오차 최소화 기준과 비교하여 방법을 검증하기 위해.

실험 결과

연구 질문

• RQ1 최적의 선형 근사(BLA)를 사용한 간접 추정은 스토케스틱 위너 시스템에 대해 최대우도 추정의 일관적이고 계산 효율적인 대안이 될 수 있는가?
• RQ2 두 번째 단계 추정에서의 불확실성 가중치는 간접 추정 방법의 통계적 성능에 어떤 영향을 미치는가?
• RQ3 편향, 분산 및 계산 비용 측면에서 간접 추정의 성능은 최대우도 추정 및 가중 예측오차 최소화 방법과 어떻게 비교되는가?
• RQ4 더 많은 정보를 포함하고 있음에도 불구하고, 최적의 가중치를 적용한 일차 BLA 모델이 영차 BLA 모델보다 우수한 성능을 내는가?
• RQ5 세차 비선형성이 존재할 경우, 선형 케이스에 비해 추정 불확실성은 어떻게 영향을 받는가?

주요 결과

• 최적의 불확실성 가중치를 적용한 간접 추정 방법은 최대우도 추정 및 가중 예측오차 최소화 방법과 유사한 통계적 성능을 달성하면서도 계산 비용을 크게 감소시킨다.
• 세차 비선형성을 갖는 일차 FIR 시스템에서 진짜 매개변수 θ₀ = 0.5의 평균 추정치는 최적의 가중치를 적용한 일차 간접 추정에서 0.4982(표준편차: 0.0418)였으며, 최대우도 추정 결과(평균: 0.5025, 표준편차: 0.0303)와 유사했다.
• 가중치 없이 수행된 영차 간접 추정 방법은 가우시안 입력에서 표준편차가 0.0446으로 더 높았으며, 이는 가중치 없이 추정할 경우 추정치의 정밀도가 떨어짐을 시사한다.
• 가중치 없이 수행된 일차 간접 추정은 가중치가 있는 경우보다 표준편차가 0.0554로 더 높았으며, 이는 최적의 가중치가 안정적인 성능을 확보하는 데 필수적임을 확인한다.
• 시뮬레이션 결과는 비선형성(세차 비선형성)이 선형 케이스에 비해 추정 불확실성을 증가시킴을 보여주었으며, 이론적 표준편차 0.0173에 비해 비선형 케이스에서는 더 높은 경험적 표준편차를 기록했다.
• 간접 추정의 계산 시간은 최대우도 추정에 소요되는 시간의 극히 작은 비율에 불과하여 실용적 구현에 매우 효율적임을 확인했다.