[論文レビュー] Regularized system identification using orthonormal basis functions

Tianshi Chen, Lennart Ljung|arXiv (Cornell University)|Apr 11, 2015

Control Systems and Identification参考文献 9被引用数 3

ひとこと要約

本稿では、正則化されたシステム同定フレームワークを、正規直交基底関数を用いて提案し、インパulse応答推定におけるリッジ正則化を一般基底関数展開へと拡張する。この研究では、正規直交基底によるカーネルベース正則化が、係数に対するリッジ回帰と等価であることを示し、特にデータが限られた遅いシステムに対して、従来のFIRおよびラグジェールモデルよりも優れた性能を発揮することを示している。

ABSTRACT

Most of existing results on regularized system identification focus on regularized impulse response estimation. Since the impulse response model is a special case of orthonormal basis functions, it is interesting to consider if it is possible to tackle the regularized system identification using more compact orthonormal basis functions. In this paper, we explore two possibilities. First, we construct reproducing kernel Hilbert space of impulse responses by orthonormal basis functions and then use the induced reproducing kernel for the regularized impulse response estimation. Second, we extend the regularization method from impulse response estimation to the more general orthonormal basis functions estimation. For both cases, the poles of the basis functions are treated as hyperparameters and estimated by empirical Bayes method. Then we further show that the former is a special case of the latter, and more specifically, the former is equivalent to ridge regression of the coefficients of the orthonormal basis functions.

研究の動機と目的

• 短時間でノイズの多いデータ環境における従来のシステム同定手法の限界を解決すること。
• 遅いダイナミクスを示す系や高いサンプリングレートを持つ系に対して、有限インパulse応答（FIR）モデルの高い分散を克服すること。
• 正規直交基底関数のための統一された正則化フレームワークを構築し、モデルの精度とロバスト性を向上させること。
• 基底関数の極とカーネル構造が正則化性能に与える影響を調査すること。
• 特定の状況において、インパルス応答の正則化よりも基底関数係数の正則化が優れていることを実証すること。

提案手法

• 正規直交基底関数を用いてインパルス応答の再生核ヒルベルト空間（RKHS）を構築し、カーネルベース正則化を可能にする。
• リッジ正則化をインパルス応答推定から一般正規直交基底関数展開へと拡張し、基底の極をハイパーパrameterとして扱う。
• 経験ベイズを用いて正規直交基底関数の極を推定し、データ適合性を最適化する。
• 基底関数の係数に対するカーネルリッジ回帰問題として正則化を定式化する。
• 係数推定に与える影響を調査するため、ティコノフ正則化（TC）カーネルと対角（DI）カーネルの2種類を比較する。
• ラグジェール基底関数を事例として用い、FIRおよび標準ラグジェールモデルと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 正規直交基底関数による正則化は、標準FIRモデルと比較してシステム同定の精度を向上させることができるか？
• RQ2 インパルス応答に対するカーネルベース正則化は、正規直交基底関数係数に対する正則化と等価か？
• RQ3 異なるカーネル構造（TC対 DI）は、正則化された基底関数推定の性能にどのように影響を与えるか？
• RQ4 正規直交基底関数の係数に対する正則化は、従来のインパルス応答正則化を上回る性能を発揮するか？
• RQ5 経験ベイズによる極の推定において、基底関数の極の選択が最終的なモデル性能に与える影響は何か？

主な発見

• 提案手法であるRLAG（正則化ラグジェール基底関数）は、S1D1で91.8%、S1D2で76.3%、S2D1で86.8%、S2D2で70.1%のモデル適合度を達成し、遅いシステムのケースでLS-LAGおよびRFIRを顕著に上回った。
• 遅いシステム（S2D1およびS2D2）において、RLAGはRFIRよりも約5%の性能向上を示し、コンact基底表現の利点を裏付けた。
• TCカーネルとDIカーネルはRLAGにおいてほぼ同等の性能を示し、絶対収束が保証されている場合、係数の独立性仮定が妥当であることを示唆している。
• RFIR-LAGはRLAGより性能が悪く、リッジ回帰がラグジェール係数に不適切な正則化構造を有することを示している。
• 正規直交基底を用いたRKHSベース正則化は、数学的に基底係数に対するリッジ回帰と等価であることが示され、理論的基盤が裏付けられた。
• 基底関数の極を経験ベイズで推定することでモデル適合度が向上し、適応的ハイパーパrameterチューニングの重要性が確認された。