[論文レビュー] Blind system identification using kernel-based methods

Giulio Bottegal, Riccardo Sven Risuleo+1 more|arXiv (Cornell University)|Dec 12, 2014

Blind Source Separation Techniques参考文献 23被引用数 7

ひとこと要約

この論文は、安定スプラインカーネルを用いたガウス過程としてインパulse応答をモデル化する、新しいカーネルベースのブラインドシステム同定（BSI）手法を提案する。未知のシステムパラメータ、入力構造、ノイズ分散をEMアルゴリズムにより推定し、自動的なハイパーパrameterチューニングを実現する。数値実験では、ユーザー定義の正則化を必要とせず、既存の手法よりも精度とロバスト性に優れる性能を示す。

ABSTRACT

We propose a new method for blind system identification. Resorting to a Gaussian regression framework, we model the impulse response of the unknown linear system as a realization of a Gaussian process. The structure of the covariance matrix (or kernel) of such a process is given by the stable spline kernel, which has been recently introduced for system identification purposes and depends on an unknown hyperparameter. We assume that the input can be linearly described by few parameters. We estimate these parameters, together with the kernel hyperparameter and the noise variance, using an empirical Bayes approach. The related optimization problem is efficiently solved with a novel iterative scheme based on the Expectation-Maximization method. In particular, we show that each iteration consists of a set of simple update rules. We show, through some numerical experiments, very promising performance of the proposed method.

研究の動機と目的

• 入力信号が入手不可能な状況における、ブラインドシステム同定（BSI）の不適切な定式化を解決すること。
• 従来のBSI手法とは異なり、ユーザーが調整する正則化パラメータを必要としない、完全に自動化された手法を開発すること。
• 安定スプラインカーネルを用いたガウス過程としてインパulse応答をモデル化し、安定性および滑らかさに関する事前知識を組み込むこと。
• 経験的ベイズフレームワークを用いて、インパulse応答、入力パラメータ、カーネルハイパーパラメータ、ノイズ分散を同時に推定すること。
• 期待値最大化（EM）アルゴリズムを用いた、簡単な更新ルールを持つ効率的な反復的解法を提供すること。

提案手法

• 安定スプラインカーネルを用いたガウス過程としてインパulse応答をモデル化し、ハイパーパラメータβを用いてBIBO安定性と滑らかさをエンコードする。
• 観測不能な入力信号を、既知の低次元部分空間に位置すると想定し、u = Hx（x ∈ ℝ^p）とパラメータ化する。
• 出力データの周辺尤度を最大化することで、ハイパーパラメータβ（カーネル）、x（入力パラメータ）、σ²（ノイズ分散）を経験的ベイズフレームワークで推定する。
• 各反復で以下の計算を実行するEMベースの反復的アルゴリズムを構築する：(1) インパulse応答の事後平均および共分散の計算、(2) 更新された入力パラメータxの推定、(3) 更新されたノイズ分散σ²の推定、(4) 更新されたカーネルハイパーパラメータβの推定。
• 各EM更新ステップは、行列逆行列計算やトレース計算を含む単純な線形代数演算から構成され、計算が効率的に行える。
• 本手法は完全に自動化されており、正則化パラメータやモデル次数の選定に対するユーザーの調整を一切不要としている。

実験結果

リサーチクエスチョン

• RQ1 安定スプラインカーネルを用いたカーネルベース手法は、入力構造に関する事前知識がなくても、正確なブラインドシステム同定を達成できるか？
• RQ2 高次元かつ非凸な最適化設定下で、インパulse応答、入力パラメータ、ノイズ分散、カーネルハイパーパラメータの同時推定をどのように効率的に行えるか？
• RQ3 収束性と計算効率を保証するEMベースの反復的アルゴリズムを、BSI問題に適応可能に設計できるか？
• RQ4 本手法は、ユーザーが選択する正則化パラメータを必要とする既存のBSI技術を上回る性能を示すか？
• RQ5 入力信号が既知の低次元部分空間に存在する場合、本手法のロバストネスはどの程度維持されるか？

主な発見

• 提案されたEMベースのアルゴリズムは、周辺尤度の局所的最大値に収束し、各反復で単純かつ計算効率の良い更新が実行される。
• 合成データを用いた数値実験により、インパulse応答回復における推定誤差が低く抑えられ、高いシステム同定精度が確認された。
• 本手法は完全に自動化されており、従来のBSI手法とは異なり、ユーザーによる正則化パラメータやモデル次数の手動チューニングが不要である。
• 安定スプラインカーネルは、システムの安定性および滑らかさに関する事前知識を効果的にエンコードし、推定性能の向上に寄与した。
• 特にSNRが低い環境下でも、既存のBSI手法よりもロバスト性と精度に優れる性能を示した。
• 理論的解析により、EMアルゴリズムがQ関数をx、σ²、βごとに独立した成分に分解できることを確認し、効率的な逐次最適化が可能であることが示された。