[论文解读] Blind system identification using kernel-based methods

Giulio Bottegal, Riccardo Sven Risuleo+1 more|arXiv (Cornell University)|Dec 12, 2014

Blind Source Separation Techniques参考文献 23被引用 7

一句话总结

本文提出了一种基于核函数的盲系统辨识（BSI）新方法，将系统的脉冲响应建模为具有稳定样条核的高斯过程，通过期望最大化（EM）算法估计未知系统参数、输入结构和噪声方差。该方法实现了自动超参数调优，在数值实验中表现出色，精度和鲁棒性优于现有方法，且无需用户定义的正则化参数。

ABSTRACT

We propose a new method for blind system identification. Resorting to a Gaussian regression framework, we model the impulse response of the unknown linear system as a realization of a Gaussian process. The structure of the covariance matrix (or kernel) of such a process is given by the stable spline kernel, which has been recently introduced for system identification purposes and depends on an unknown hyperparameter. We assume that the input can be linearly described by few parameters. We estimate these parameters, together with the kernel hyperparameter and the noise variance, using an empirical Bayes approach. The related optimization problem is efficiently solved with a novel iterative scheme based on the Expectation-Maximization method. In particular, we show that each iteration consists of a set of simple update rules. We show, through some numerical experiments, very promising performance of the proposed method.

研究动机与目标

• 为解决盲系统辨识（BSI）中输入信号不可用而导致的不适定性问题。
• 开发一种完全自动化的方法，避免像以往 BSI 方法那样依赖用户调节的正则化参数。
• 将脉冲响应建模为具有稳定样条核的高斯过程，通过超参数 β 编码关于稳定性与平滑性的先验知识。
• 通过经验贝叶斯方法联合估计系统脉冲响应、输入参数、核超参数和噪声方差。
• 通过一种期望最大化（EM）算法提供一种高效的迭代求解方案，更新规则简单。

提出的方法

• 将脉冲响应建模为具有稳定样条核的高斯过程，通过超参数 β 编码 BIBO 稳定性与平滑性。
• 将未观测到的输入信号表示为位于已知低维子空间中，参数化形式为 u = Hx，其中 x ∈ ℝ^p。
• 采用经验贝叶斯框架，通过最大化输出数据的边际似然函数来估计超参数 β（核函数）、x（输入参数）和 σ²（噪声方差）。
• 开发一种新颖的基于 EM 的迭代算法，每轮迭代计算：(1) 脉冲响应的后验均值与协方差，(2) 更新后的输入参数 x，(3) 更新后的噪声方差 σ²，(4) 更新后的核超参数 β。
• 每个 EM 更新步骤仅涉及简单的线性代数运算，包括矩阵求逆与迹运算，从而实现高效计算。
• 该方法完全自动化，无需用户调节正则化参数或模型阶次选择。

实验结果

研究问题

• RQ1 基于核函数的方法是否能利用稳定样条核在不依赖输入结构先验知识的情况下实现高精度盲系统辨识？
• RQ2 在高维、非凸优化环境下，如何高效联合估计系统脉冲响应、输入参数、噪声方差与核超参数？
• RQ3 能否设计一种基于 EM 的迭代算法，确保在 BSI 问题中的收敛性与计算效率？
• RQ4 所提出的方法是否在性能上优于需要用户选择正则化参数的现有 BSI 技术？
• RQ5 当输入位于已知低维子空间时，该方法的鲁棒性在多大程度上得以保持？

主要发现

• 所提出的基于 EM 的算法收敛至边际似然函数的局部最大值，每次迭代仅涉及简单且计算高效的更新。
• 该方法在系统辨识中表现出高精度，数值实验结果表明其在脉冲响应恢复中估计误差较低。
• 该方法完全自动化，无需用户手动调节正则化参数或模型阶次，优于以往的 BSI 方法。
• 稳定样条核能有效编码关于系统稳定性和平滑性的先验知识，从而提升估计性能。
• 在鲁棒性与精度方面，该方法优于现有 BSI 技术，尤其在低信噪比（low-SNR）环境下表现更优。
• 理论分析表明，EM 算法将 Q 函数分解为关于 x、σ² 和 β 的独立分量，从而支持高效的顺序优化。