[论文解读] An RKHS Approach to Estimation with Sparsity Constraints

Alexander Jung|arXiv (Cornell University)|Nov 22, 2013

Sparse and Compressive Sensing Techniques参考文献 36被引用 3

一句话总结

本文提出一种再生核希尔伯特空间（RKHS）框架，用于推导在两种高斯信号模型——稀疏线性模型（SLM）和稀疏参数协方差模型（SPCM）——中，受稀疏性约束时估计量方差的紧致下界。核心贡献是提出一种严谨且统一的基于RKHS的方法，量化了稀疏性带来的性能增益，表明与无约束估计相比，稀疏感知估计可显著降低估计方差，且通过在稀疏性支持集上优化，推导出明确的下界。

ABSTRACT

The investigation of the effects of sparsity or sparsity constraints in signal processing problems has received considerable attention recently. Sparsity constraints refer to the a priori information that the object or signal of interest can be represented by using only few elements of a predefined dictionary. Within this thesis, sparsity refers to the fact that a vector to be estimated has only few nonzero entries. One specific field concerned with sparsity constraints has become popular under the name Compressed Sensing (CS). Within CS, the sparsity is exploited in order to perform (nearly) lossless compression. Moreover, this compression is carried out jointly or simultaneously with the process of sensing a physical quantity. In contrast to CS, one can alternatively use sparsity to enhance signal processing methods. Obviously, sparsity constraints can only improve the obtainable estimation performance since the constraints can be interpreted as an additional prior information about the unknown parameter vector which is to be estimated. Our main focus will be on this aspect of sparsity, i.e., we analyze how much we can gain in estimation performance due to the sparsity constraints.

研究动机与目标

• 量化在估计问题中通过利用稀疏性约束所能实现的性能提升。
• 开发一种基于再生核希尔伯特空间（RKHS）的统一数学框架，用于分析稀疏估计。
• 推导两类典型稀疏估计问题中估计方差的紧致下界：稀疏线性模型（SLM）和稀疏参数协方差模型（SPCM）。
• 实现对有无稀疏性约束下估计性能的自然比较。

提出的方法

• 利用再生核希尔伯特空间（RKHS）理论，推导稀疏估计问题中方差的下界。
• 应用广义不等式和变分技术，刻画在稀疏性约束下可达到的最小方差。
• 通过在稀疏支持集上优化对数似然目标函数，推导稀疏参数向量的最大似然（ML）估计器。
• 通过分析对数似然分量导数的符号和单调性，识别ML估计器的最优支持集。
• 利用单射映射和不等式分析，比较不同支持集上的目标函数值，证明所提出的估计器达到全局最大值。
• 证明ML估计器的支持集必须包含于信噪比超过阈值的索引集合中，从而得出最优估计器的闭式表达式。

实验结果

研究问题

• RQ1 在高斯信号模型中，通过利用稀疏性约束，估计中可实现多大的性能增益？
• RQ2 在稀疏线性模型（SLM）中，估计方差在稀疏性约束下的基本下界是什么？
• RQ3 在稀疏参数协方差模型（SPCM）中，估计方差在稀疏性约束下的基本下界是什么？
• RQ4 能否开发一种统一的数学框架，用于比较有无稀疏性约束下的估计性能？
• RQ5 ML估计器的最优支持集如何与各分量的信噪比相关？

主要发现

• RKHS框架使得在稀疏性约束下对方差下界进行简洁而优雅的推导成为可能。
• 稀疏参数向量的最大似然（ML）估计器的支持集被证明包含于信噪比超过阈值的索引集合中。
• ML估计器实现了对数似然函数的全局最大值，其支持集由信号功率超过噪声方差的集合的交集所刻画。
• 通过将推导出的下界与无约束情况下的Cramér-Rao下界进行比较，量化了稀疏性带来的性能增益。
• 分析证明，所提出的估计器在最大化对数似然的意义上是最优的，且不存在其他稀疏估计器能获得更高的目标值。
• 推导出的下界是紧致的，且显式依赖于稀疏度水平以及活跃分量的信噪比。