[论文解读] Barycenter Estimation of Positive Semi-Definite Matrices with Bures-Wasserstein Distance

Jingyi Zheng, Huajun Huang+3 more|arXiv (Cornell University)|Feb 24, 2023

EEG and Brain-Computer InterfacesNeuroscience被引用 3

一句话总结

本论文提出了一种基于Bures-Wasserstein（BW）距离的正定（PSD）矩阵新型中位数估计框架，克服了传统仿射不变黎曼（AI）方法的局限性。通过建立BW距离在PSD流形上的数学基础，并提出三种高效算法——归纳均值、投影均值和廉价均值，研究证明基于BW的中位数估计在高维数据（特别是具有近零特征值的矩阵）中显著更具鲁棒性和高效性。

ABSTRACT

Brain-computer interface (BCI) builds a bridge between human brain and external devices by recording brain signals and translating them into commands for devices to perform the user's imagined action. The core of the BCI system is the classifier that labels the input signals as the user's imagined action. The classifiers that directly classify covariance matrices using Riemannian geometry are widely used not only in BCI domain but also in a variety of fields including neuroscience, remote sensing, biomedical imaging, etc. However, the existing Affine-Invariant Riemannian-based methods treat covariance matrices as positive definite while they are indeed positive semi-definite especially for high dimensional data. Besides, the Affine-Invariant Riemannian-based barycenter estimation algorithms become time consuming, not robust, and have convergence issues when the dimension and number of covariance matrices become large. To address these challenges, in this paper, we establish the mathematical foundation for Bures-Wasserstein distance and propose new algorithms to estimate the barycenter of positive semi-definite matrices efficiently and robustly. Both theoretical and computational aspects of Bures-Wasserstein distance and barycenter estimation algorithms are discussed. With extensive simulations, we comprehensively investigate the accuracy, efficiency, and robustness of the barycenter estimation algorithms coupled with Bures-Wasserstein distance. The results show that Bures-Wasserstein based barycenter estimation algorithms are more efficient and robust.

研究动机与目标

• 解决在协方差矩阵常为正定半定（PSD）的高维场景下，仿射不变黎曼（AI）距离存在的不稳定性与低效性问题。
• 在PSD矩阵流形上建立Bures-Wasserstein（BW）距离的数学基础，包括其度量性质和向后映射（retraction maps）。
• 提出三种新算法——归纳均值、投影均值和廉价均值，用于基于BW距离估计PSD矩阵的弗雷歇均值（中位数）。
• 在噪声和不同矩阵维度及数量条件下，评估基于BW的中位数估计在准确性、效率和鲁棒性方面的表现。
• 为AI方法在矩阵非严格正定（如高维神经科学和信号处理应用中常见）时失效的问题，提供一种实用的替代方案。

提出的方法

• 将两个PSD矩阵之间的Bures-Wasserstein距离定义为 $ d_{BW}(A,B) = \left( \mathrm{tr}(A) + \mathrm{tr}(B) - 2\, \mathrm{tr}\left( (A^{1/2} B A^{1/2})^{1/2} \right) \right)^{1/2} $，确保其在 $ \overline{\mathbb{P}}_n $ 上构成有效的黎曼度量。
• 证明BW距离满足度量性质，且在矩阵奇异（PSD）时仍定义良好，而AI距离则要求可逆性。
• 提出归纳均值算法，通过在BW距离上采用类似梯度下降的更新方式，迭代更新中位数估计。
• 引入投影均值算法，将矩阵算术均值通过BW度量投影到PSD流形上，提升稳定性。
• 开发廉价均值算法作为初始中位数估计的快速近似，尤其适用于大规模问题。
• 使用向后映射确保所有迭代点均保持在PSD矩阵流形内，从而在优化过程中保持数值稳定性。

Figure 1: Manifold and its tangent space at point $A\in\overline{\mathbb{P}}_{n}$

实验结果

研究问题

• RQ1 当矩阵接近奇异或处于高维时，Bures-Wasserstein距离与仿射不变黎曼距离在鲁棒性方面有何差异？
• RQ2 当矩阵求逆条件不佳时，能否高效且稳定地基于BW距离估计PSD矩阵集合的弗雷歇均值？
• RQ3 所提出的中位数估计算法（归纳均值、投影均值、廉价均值）在噪声和不同矩阵维度下，其准确性、效率和鲁棒性如何比较？
• RQ4 矩阵维度 $ n $ 和矩阵数量 $ m $ 对基于BW的中位数估计鲁棒性有何影响？
• RQ5 当矩阵受小的厄米特扰动污染时，基于BW的中位数是否比基于AI的中位数更具鲁棒性？

主要发现

• 当矩阵接近正定半定时，Bures-Wasserstein距离比仿射不变距离更具鲁棒性，尤其在高维场景下表现更优。
• 在 $ m \gg n $ 的情况下，基于BW的投影均值算法在鲁棒性方面优于其他算法，所有测试配置下统计检验的p值均小于0.05。
• 基于BW的归纳均值算法显著优于基于AI的归纳均值算法，Kruskal-Wallis检验和Wilcoxon秩和检验的所有p值均小于0.05。
• 当 $ n = 20 $ 时，BW投影均值下扰动与未扰动中位数之间的Frobenius距离分布随 $ m $ 增加而减少变异性，表明鲁棒性提升。
• 当 $ m \geq 50 $ 时，BW投影均值算法在所有比较中均显著优于BW归纳均值算法，p值均小于0.05。
• 所提出的基于BW的中位数估计框架在计算上高效且数值稳定，即使在 $ n $ 和 $ m $ 较大时也适用，适用于实际的脑-计算机接口和生物医学信号处理应用。

Figure 2: Illustration of the Inductive Mean Algorithm.