[論文レビュー] Identification of Stochastic Wiener Systems using Indirect Inference

Bo Wahlberg, James S. Welsh+1 more|arXiv (Cornell University)|Jul 20, 2015

Control Systems and Identification参考文献 10被引用数 4

ひとこと要約

本稿では、プロセスノイズと非線形出力センサを有する線形動的システム（ストースティック・ウィーナー・システム）の同定を、補助モデルとしての最良線形近似（BLA）を用いた間接推定法を提案する。2段階目の推定において最適な不確実性重み付けを適用することで、最大尤度推定や予測誤差最小化と同等の統計的性能を達成しつつ、著しく低い計算コストを実現する。

ABSTRACT

We study identification of stochastic Wiener dynamic systems using so-called indirect inference. The main idea is to first fit an auxiliary model to the observed data and then in a second step, often by simulation, fit a more structured model to the estimated auxiliary model. This two-step procedure can be used when the direct maximum-likelihood estimate is difficult or intractable to compute. One such example is the identification of stochastic Wiener systems, i.e.,~linear dynamic systems with process noise where the output is measured using a non-linear sensor with additive measurement noise. It is in principle possible to evaluate the log-likelihood cost function using numerical integration, but the corresponding optimization problem can be quite intricate. This motivates studying consistent, but sub-optimal, identification methods for stochastic Wiener systems. We will consider indirect inference using the best linear approximation as an auxiliary model. We show that the key to obtain a reliable estimate is to use uncertainty weighting when fitting the stochastic Wiener model to the auxiliary model estimate. The main technical contribution of this paper is the corresponding asymptotic variance analysis. A numerical evaluation is presented based on a first-order finite impulse response system with a cubic non-linearity, for which certain illustrative analytic properties are derived.

研究の動機と目的

• 非線形性のため直接の最大尤度推定が計算的に非現実的となるストースティック・ウィーナー・システムの同定課題に対処すること。
• 一貫性があり、最適でないパrameter推定が可能な、最良線形近似を補助モデルとして用いた間接推定の利用を検討すること。
• ウィーナー・システムの間接推定器の漸近的分散を導出し、検証すること。
• 2段階目の推定における最適重み付けが、特に高次BLAモデルを用いる場合に信頼性の高い性能を発揮するために不可欠であることを示すこと。
• 提案手法の統計的効率性と計算的効率性を、最大尤度推定および重み付き予測誤差最小化手法と比較すること。

提案手法

• 観測された入出力データから推定される、ウィーナー・システムの最良線形近似（BLA）を補助モデルとして用いる。
• 間接推定を適用：2段階目において、シミュレーションベース最適化を用いて、推定されたBLAパrameterに一致する構造的ストースティック・ウィーナー・モデルをフィットさせる。
• 2段階目のコスト関数に不確実性重み付けを組み込み、BLA推定の漸近的分散共分散行列の逆行列を用いる。
• システム同定理論を用いて、間接推定器の漸近的分散を導出し、重み行列の明示的表現を提示する。
• 1次FIRシステムに立方非線形性を有する場合に、2段階目の最適化に対して解析的解を用いることで、正確な性能評価を可能にする。
• モンテカルロシミュレーションを実施し、ガウス分布および一様分布の入力信号を用いて、MLおよびPEMのベンチマークと比較して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 最良線形近似を補助モデルとして用いた間接推定は、計算的に効率的かつ一貫性のある最大尤度推定の代替手段として、ストースティック・ウィーナー・システムの同定に有効であるか？
• RQ2 2段階目の推定における不確実性重み付けの影響は、間接推定法の統計的性能にどのように現れるか？
• RQ3 バイアス、分散、計算コストの観点から、間接推定法の性能は最大尤度推定および重み付き予測誤差最小化法と比べてどうか？
• RQ4 より多くの情報を含むにもかかわらず、最適重み付けを施した1次BLAモデルが、0次BLAモデルを上回る性能を発揮するか？
• RQ5 立方非線形性が存在する場合、線形ケースと比較して推定の不確実性はどのように変化するか？

主な発見

• 最適不確実性重み付けを施した間接推定法は、最大尤度推定および重み付き予測誤差最小化と同等の統計的性能を達成し、計算コストを著しく低減する。
• 立方非線形性を有する1次FIRシステムにおいて、真のパrameter θ₀ = 0.5 の平均推定値は、最適重み付け付き1次間接推定で 0.4982（標準偏差：0.0418）となり、ML結果（平均：0.5025、標準偏差：0.0303）に近く、良好な一致を示した。
• 重みなしの0次間接推定法では、ガウス入力の場合に標準偏差が 0.0446 と高くなり、重みなし推定がより不正確な推定をもたらすことを示した。
• 重みなしの1次間接推定では、重み付きバージョンよりも標準偏差が 0.0554 と高く、最適重み付けが信頼性の高い性能を実現するために不可欠であることを確認した。
• シミュレーション結果から、非線形性（立方）が線形ケースと比較して推定不確実性を増加させることを示した。理論的標準偏差は 0.0173 であるのに対し、非線形ケースではより高い経験的標準偏差が観測された。
• 間接推定の計算時間は、最大尤度推定に要する時間のわずか一部にとどまり、実用的実装において極めて効率的であることが明らかになった。