[论文解读] Geometric methods for estimation of structured covariances

Lipeng Ning, Xianhua Jiang+1 more|arXiv (Cornell University)|Oct 17, 2011

Point processes and geometric inequalities参考文献 20被引用 11

一句话总结

本文提出一种基于Wasserstein距离（等价于Bures/Hellinger距离）的几何方法，用于估计结构化协方差矩阵，特别是Toeplitz矩阵。该方法通过线性矩阵不等式（LMI）将估计问题表述为凸优化问题，实现高效计算，并自然处理正定性和Toeplitz约束，在谱线估计方面优于最大似然法和Burg方法。

ABSTRACT

We consider problems of estimation of structured covariance matrices, and in particular of matrices with a Toeplitz structure. We follow a geometric viewpoint that is based on some suitable notion of distance. To this end, we overview and compare several alternatives metrics and divergence measures. We advocate a specific one which represents the Wasserstein distance between the corresponding Gaussians distributions and show that it coincides with the so-called Bures/Hellinger distance between covariance matrices as well. Most importantly, besides the physically appealing interpretation, computation of the metric requires solving a linear matrix inequality (LMI). As a consequence, computations scale nicely for problems involving large covariance matrices, and linear prior constraints on the covariance structure are easy to handle. We compare this transportation/Bures/Hellinger metric with the maximum likelihood and the Burg methods as to their performance with regard to estimation of power spectra with spectral lines on a representative case study from the literature.

研究动机与目标

• 为解决在样本估计存在偏差或非正定情况下，估计结构化协方差矩阵（特别是Toeplitz结构）的挑战。
• 基于高斯分布之间的物理可解释距离度量，构建协方差估计的几何框架。
• 比较不同距离度量（似然、Burg、Wasserstein/Bures）在估计具有谱线的功率谱时的性能。
• 证明Wasserstein/Bures距离可导出可通过LMI求解的凸优化问题，从而实现对大矩阵的高效计算。
• 提高谱分辨率，减少传统方法（如最大似然法和Burg法）中常见的“谱线分裂”等伪影。

提出的方法

• 本文将协方差估计表述为最小化经验协方差矩阵与候选Toeplitz正半定矩阵之间Wasserstein距离的问题。
• 零均值高斯分布之间的Wasserstein距离被证明等价于协方差矩阵之间的Bures/Hellinger距离。
• 优化问题被转化为包含线性矩阵不等式（LMI）的凸规划问题，从而实现高效计算，并自然整合线性约束。
• 该方法利用两个正定矩阵之间Wasserstein中位数的闭式解，基于矩阵几何平均推导得出。
• 在包含正弦分量的基准谱估计问题上，将该方法与最大似然法和Burg法进行比较。
• 采用Wasserstein度量可避免最大似然估计中常见的病态条件和数值不稳定性。

实验结果

研究问题

• RQ1 高斯分布之间的Wasserstein距离在估计结构化协方差矩阵时，与其它发散度度量相比表现如何？
• RQ2 在Toeplitz和正半定约束下，Wasserstein/Bures距离是否能够高效计算和优化？
• RQ3 所提出的几何方法是否在分辨紧密间隔的谱线方面优于最大似然法和Burg法？
• RQ4 基于LMI的优化框架在大规模协方差矩阵上的计算可扩展性如何？
• RQ5 距离度量的选择如何影响谱估计的精度和对样本噪声的鲁棒性？

主要发现

• 高斯分布之间的Wasserstein距离在数学上等价于协方差矩阵之间的Bures/Hellinger距离，提供了一种具有物理可解释性的度量。
• 基于Wasserstein度量的优化问题可简化为凸LMI问题，即使在大矩阵情况下也能实现高效且可扩展的计算。
• 所提出的方法实现了更优的谱分辨率，并避免了最大似然法和Burg法中常见的“谱线分裂”伪影。
• 与最大似然法相比，基于Wasserstein的估计器在样本协方差偏差下表现出更强的鲁棒性，并具有更好的收敛特性。
• 该方法通过LMI公式自然地整合了协方差结构的线性约束，如Toeplitz结构和正半定性。
• 在基准案例研究中，基于Wasserstein的估计器在准确分辨谱线方面优于最大似然法和Burg法。