[論文レビュー] On kernel design for regularized LTI system identification

Tianshi Chen|arXiv (Cornell University)|Dec 12, 2016

Control Systems and Identification参考文献 18被引用数 7

ひとこと要約

本稿では、正則化線形時不変（LTI）システム同定のためのカーネル設計の2つの体系的アプローチを提案する。1つは機械学習的視点から、アモルティズド・ローカルリーマンストーション（AMLS）カーネルを用いてインパulse応答の減衰と変化率をモデル化するものであり、もう1つはシステム理論的視点から、名目LTIシステムモデルに基づくシミュレーション誘導（SI）カーネルを用いるものである。主な貢献は、カーネル構造を事前知識に関連付ける体系的フレームワークを提供し、バイアス-バリアンストレードオフを改善し、恣意的なカーネルよりも精度と頑健性に優れる点にある。

ABSTRACT

There are two key issues for the kernel-based regularization method: one is how to design a suitable kernel to embed in the kernel the prior knowledge of the LTI system to be identified, and the other one is how to tune the kernel such that the resulting regularized impulse response estimator can achieve a good bias-variance tradeoff. In this paper, we focus on the issue of kernel design. Depending on the type of the prior knowledge, we propose two methods to design kernels: one is from a machine learning perspective and the other one is from a system theory perspective. We also provide analysis results for both methods, which not only enhances our understanding for the existing kernels but also directs the design of new kernels.

研究の動機と目的

• LTIシステム同定における事前知識を埋め込む正則化カーネルの設計に体系的でない方法の欠如に対処すること。
• 機械学習ベースのアプローチを提案し、減衰や変化率といったインパulse応答特性をアモルティズド・ローカルリーマンストーション（AMLS）カーネルを用いてモデル化すること。
• システム理論ベースのアプローチを提案し、安定性、減衰、共鳴周波数といった事前知識を、シミュレーション誘導（SI）カーネルを通じて埋め込むこと。
• 既存のカーネル（例：SS、DC）を新しいフレームワークと結びつける理論的分析を提供し、それらの構造的性質の理解を深めること。
• 実験を通じて、提案されたカーネルが既存の恣意的カーネルよりも平均的精度と頑健性に優れていることを示すこと。

提案手法

• インパルス応答の挙動を振幅減衰（ランク1カーネル）と変化率（ステーショナリーカーネル）に分解することで、AMLSカーネルフレームワークを提案し、減衰と滑らかさの柔軟なモデル化を可能にする。
• 名目LTIシステムモデル（例：複素共役極を有する2次系）を用いて、乗法的不確実性下でのLTIシステムをシミュレートし、インパルス応答を平均ゼロのガウス過程として用いることでSIカーネルを構築する。
• 固定カーネル（例：SS、TC、DC、SI）のコーン結合をハイパーパramーターグリッド上で行い、複数の時間定数や共鳴周波数を有するような複雑な事前知識を表現するためのマルチカーネル構造を構築する。
• 経験的ベイズと不偏リスク推定を用いてハイパーパramータートーニングを行い、カーネルパラメータの連続的かつ非組み合わせ的最適化を実現する。
• 理論的関係を導出し、DCおよびSSカーネルがAMLSカーネルの特別なケースであり、最大エントロピー原理に関連していることを示す。
• 変動するシステムダイナミクスを有する合成データ上で、複数のカーネル（TC、DC、SSp、AMLS-2Os、AMLS-2Od、SI-2Od）のモデル適合度をボックスプロット比較することでフレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、LTIシステム同定におけるインパルス応答の減衰および変化率に関する事前知識を埋め込むカーネル設計を体系化できるか？
• RQ2 広く使用されている既存のカーネル（例：SS、DC）と提案されたAMLSカーネルフレームワークとの理論的関係は何か？
• RQ3 システム理論的事前知識（安定性、減衰、共鳴周波数など）をどのようにしてカーネル設計に体系的に組み込むことができるか？
• RQ4 AMLSおよびSIカーネルは、バイアス-バリアンストレードオフの観点で、既存の恣意的カーネルよりもどの程度の性能向上を達成するか？
• RQ5 マルチカーネルの組み合わせは、複数の時間定数や共鳴周波数を有するシステムを効果的にモデル化できるか？

主な発見

• AMLSカーネルフレームワークは、SSおよびDCカーネルを特別なケースとして一般化しており、これらがアモルティズド・ローカルリーマンストーションカーネルのクラスに属することを示している。
• 複素共役極を有する2次系から導出されたSIカーネルは、振動的インパルス応答において最良の性能を示し、平均的精度と頑健性の両面でTCおよびAMLS-2Osを上回っている。
• AMLS-2Odカーネル（AMLSに2次系ダイナミクスを組み込んだもの）は、TCおよびAMLS-2Osよりも平均的精度が優れているが、DCおよびSI-2Odよりはわずかに劣る。
• SIカーネル（5.2）は、強い振動を示すシステムに対して最も効果的である。これは、その事前知識が真のシステム構造に近く、適合性が高いからである。
• ボックスプロット比較では、6つのカーネル（TC、DC、SSp、AMLS-2Os、AMLS-2Od、SI-2Od）のうち、モデル適合度がゼロ未満であるのは5つにとどまり、SI-2OdおよびAMLS-2Odが優れた性能を示している。
• 理論的分析により、DCおよびSSカーネルが特定のLTIシステムからのシミュレーション誘導であり、最大エントロピー原理の下で最適であることが確認され、それらの設計がシステム理論的視点から正当化された。