[論文レビュー] On Input Design for Regularized LTI System Identification: Power-constrained Input

Biqiang Mu, Tianshi Chen|arXiv (Cornell University)|Aug 18, 2017

Control Systems and Identification参考文献 20被引用数 3

ひとこと要約

本稿では、線形時不変（LTI）システム同定におけるカーネルベース正則化法（KRM）におけるパワー制約付き入力設計のための2段階の凸最適化フレームワークを提案する。入力を2次写像によって変換することで凸性を達成し、ベイズ最適性基準（A-、D-、E-最適性）を活用することで、大規模な非凸問題を解かずにグローバル最適入力を効率的に計算可能とし、固定カーネルに対しては解析的解が導出される。

ABSTRACT

Input design is an important issue for classical system identification methods but has not been investigated for the kernel-based regularization method (KRM) until very recently. In this paper, we consider in the time domain the input design problem of KRMs for LTI system identification. Different from the recent result, we adopt a Bayesian perspective and in particular make use of scalar measures (e.g., the $A$-optimality, $D$-optimality, and $E$-optimality) of the Bayesian mean square error matrix as the design criteria subject to power-constraint on the input. Instead to solve the optimization problem directly, we propose a two-step procedure. In the first step, by making suitable assumptions on the unknown input, we construct a quadratic map (transformation) of the input such that the transformed input design problems are convex, the number of optimization variables is independent of the number of input data, and their global minima can be found efficiently by applying well-developed convex optimization software packages. In the second step, we derive the expression of the optimal input based on the global minima found in the first step by solving the inverse image of the quadratic map. In addition, we derive analytic results for some special types of fixed kernels, which provide insights on the input design and also its dependence on the kernel structure.

研究の動機と目的

• カーネルベース正則化法（KRM）が線形時不変（LTI）システム同定に用いられる際の、体系的な入力設計手法の欠如に取り組む。
• 事後平均二乗誤差行列のスカラー指標（A-、D-、E-最適性）を用いて入力設計をベイズ最適化問題として定式化する。
• 大規模な非凸入力設計問題の計算不能性を克服するため、入力空間を凸領域に変換する。
• 標準的な凸ソルバーを用いて効率的なグローバル最適化を実現するとともに、元の問題の構造を保持する。
• 特定の固定カーネル（例：AMLS、有理カーネル）に対して解析的入力設計を導出し、最適励起がカーネル構造にどのように依存するかの洞察を明らかにする。

提案手法

• ベイズ的視点を採用し、入力設計の性能指標として事後平均二乗誤差行列を用いる。
• 入力信号の2次変換を導入し、元の非凸問題を、データ長に依存しない固定変数数の凸最適化問題に変換する。
• ベイズ平均二乗誤差行列のスカラー指標（A-最適性：トレース、D-最適性：行列式、E-最適性：最大固有値）を設計基準として用いる。
• 既に確立された凸最適化ソフトウェアを適用し、変換された問題を効率的に解き、グローバル最小値を取得する。
• 凸問題の解から2次写像の逆像を計算することで、最適入力信号を再構築する。
• 特定の固定カーネル（例：AMLS、有理カーネル）の下で最適入力の解析的表現を導出し、カーネルパラメータに依存する構造的依存関係を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 カーネルベース正則化法（KRM）が線形時不変（LTI）システム同定に用いられる際、どのように体系的な入力設計を定式化できるか？
• RQ2 パワー制約下での非凸入力設計問題を、グローバル最適性を保証する凸問題に変換できるか？
• RQ3 カーネル構造がKRMに基づくシステム同定における最適励起信号に与える影響は何か？
• RQ4 異なるベイズ最適性基準（A-、D-、E-最適性）は、得られる入力設計にどのように影響を与えるか？
• RQ5 カーネルが固定されている場合、最適入力に対して解析的解を導出できるか。また、それらはどのような洞察を提供するか？

主な発見

• 提案手法の2段階アプローチにより、2次入力写像を介して元の非凸入力設計問題が凸問題に変換され、標準的なソルバーを用いたグローバル最適化が可能となる。
• 変換後の問題における最適化変数の数は、データポイントの数に依存せず、大規模データセットへのスケーラビリティを保証する。
• AMLSや有理カーネルなどの固定カーネルに対しては、最適入力の解析的表現が導出され、最適励起がカーネルのスペクトル特性に依存することが明らかになった。
• 凸問題を解き、2次変換の逆写像を計算することでグローバル最適性を達成し、勾配ベース手法で一般的に見られる局所最適解の問題を回避する。
• 零ベクトルが実行可能領域の内部点であるための理論的条件を確立し、$ N \geq 2n - 2 $ のとき、フル次元の解空間の存在を保証する。
• 先行研究（例：Fujimoto & Sugie, 2016）が直面する高次元非凸最適化と収束問題を克服する、スケーラブルで効率的な代替手法を提供する。