[論文レビュー] Kernels for linear time invariant system identification

Francesco Dinuzzo|arXiv (Cornell University)|Mar 22, 2012

Control Systems and Identification参考文献 19被引用数 5

ひとこと要約

本稿では、因果性、安定性、滑らかさ、相対次数、遅延といった構造的性質を組み込むことで、線形時不変（LTI）システム同定の性能を向上させるため、再生ヒルバート空間（RKHS）におけるカーネル設計の体系的フレームワークを提案する。標準的な並進不変カーネル（例：RBF）が安定なインパulse応答のモデル化に不適切であることが示され、システム固有の制約を強制する専用カーネルが導入され、カーネル学習を用いたより良い正則化と同定性能の向上が可能になる。

ABSTRACT

In this paper, we study the problem of identifying the impulse response of a linear time invariant (LTI) dynamical system from the knowledge of the input signal and a finite set of noisy output observations. We adopt an approach based on regularization in a Reproducing Kernel Hilbert Space (RKHS) that takes into account both continuous and discrete time systems. The focus of the paper is on designing spaces that are well suited for temporal impulse response modeling. To this end, we construct and characterize general families of kernels that incorporate system properties such as stability, relative degree, absence of oscillatory behavior, smoothness, or delay. In addition, we discuss the possibility of automatically searching over these classes by means of kernel learning techniques, so as to capture different modes of the system to be identified.

研究の動機と目的

• RBFのような標準的なカーネルが、安定なLTIシステムのインパulse応答を同定する際に抱える限界を解消すること。
• 正則化を用いたRKHSにおける、連続時間および離散時間LTIシステム同定の統一的関数解析的フレームワークの構築。
• 安定性、相対次数、遅延、振動の不在といったシステム固有の性質を符号化するカーネル族の体系的設計。
• 複数カーネル学習（MKL）などの技術を用いてカーネルの自動選択を可能にし、多様なシステム行動に適応すること。
• 標準的な並進不変カーネルが安定なインパulse応答モデル化に失敗する理由の理論的裏付けの提供。

提案手法

• データ適合誤差とヒルベルトノルム正則化を最小化する形で、RKHSにおける正則化逆問題としてLTIシステム同定を定式化。
• 代表定理を用いて、無限次元最適化問題をR^ℓ内の係数ベクトルに関する有限次元問題に還元。
• K(t,τ) = 0（t < 0 のとき）を満たすことで因果性を強制するカーネル関数を構築。遅延はK(t,τ) = 0（t < D のとき）として設定。
• カーネルの可積分性により安定性を確保し、誘導されるシステムのBIBO安定性を保証。
• 相対次数kを満たすために、カーネルおよびその最初のk−1階微分がt = 0でゼロになるように制約を課し、h^(i)(0) = 0（i < k のとき）を保証。
• 複数カーネル学習（MKL）などのカーネル学習技術を適用し、カーネル族の自動探索と未知のシステムダイナミクスへの適応を可能に。

実験結果

リサーチクエスチョン

• RQ1 なぜRBFのような標準的な並進不変カーネルは、安定なLTIシステムのインパULSE応答のモデル化に不適切なのか？
• RQ2 LTIシステム同定において、因果性、安定性、相対次数といった構造的性質をカーネル関数に体系的に組み込むにはどうすればよいか？
• RQ3 RKHSにおけるカーネルベースの正則化が、任意のサンプリングを伴う連続時間および離散時間LTIシステムを統一的に扱うフレームワークを提供できるか？
• RQ4 MKLのようなカーネル学習技術が、未知のシステム特性に適応することで、どの程度システム同定性能を向上させられるか？
• RQ5 RKHS内に属するすべての関数が滑らかさや振動の不在といった望ましいシステム特性を満たすために、カーネルに課すべき理論的条件は何か？

主な発見

• 標準的なRBFや他の並進不変カーネルは、因果性や減衰性を強制しないため、安定なLTIインパULSE応答をモデル化できず、一般化性能が著しく劣る。
• 因果性は、t < 0 のときK(t,τ) = 0とすることで強制され、これによりインパULSE応答が負の時間でゼロであることが保証される。
• カーネルがR²上で可積分であれば、誘導されるシステムのBIBO安定性が保証される。
• 相対次数kは、カーネルおよびその最初のk−1階時間微分がt = 0でゼロになるように制約することで強制され、これによりインパULSE応答およびその最初のk−1階微分がt = 0でゼロになる。
• カーネルが(0,∞)上でk回連続的に微分可能であれば、RKHSに属するすべての関数がこの区間でk回連続的に微分可能であることが保証され、滑らかさの順序kが確保される。
• 理論的分析により、MKLのようなカーネル学習技術が、カーネル族間の自動選択に効果的に用いられ、多様なシステム行動の適応的モデリングを可能にすることが証明された。