[论文解读] Log-Determinant Divergences Revisited: Alpha--Beta and Gamma Log-Det Divergences

Andrzej Cichocki, Sergio Cruces+1 more|arXiv (Cornell University)|Dec 18, 2014

Statistical Mechanics and Entropy参考文献 1被引用 5

一句话总结

本文提出了针对对称正定（SPD）矩阵的参数化 Alpha-Beta 和 Gamma 对数行列式散度，统一并扩展了广为人知的散度，如 Stein 损失、S-散度（JBLD）、AIRM 和 Jeffreys KL 散度。该框架在噪声环境下实现了鲁棒的相似性度量，并可推广至多路（张量结构）协方差矩阵的多路散度。

ABSTRACT

In this paper, we review and extend a family of log-det divergences for symmetric positive definite (SPD) matrices and discuss their fundamental properties. We show how to generate from parameterized Alpha-Beta (AB) and Gamma Log-det divergences many well known divergences, for example, the Stein's loss, S-divergence, called also Jensen-Bregman LogDet (JBLD) divergence, the Logdet Zero (Bhattacharryya) divergence, Affine Invariant Riemannian Metric (AIRM) as well as some new divergences. Moreover, we establish links and correspondences among many log-det divergences and display them on alpha-beta plain for various set of parameters. Furthermore, this paper bridges these divergences and shows also their links to divergences of multivariate and multiway Gaussian distributions. Closed form formulas are derived for gamma divergences of two multivariate Gaussian densities including as special cases the Kullback-Leibler, Bhattacharryya, Rényi and Cauchy-Schwartz divergences. Symmetrized versions of the log-det divergences are also discussed and reviewed. A class of divergences is extended to multiway divergences for separable covariance (precision) matrices.

研究动机与目标

• 统一并扩展对称正定（SPD）矩阵的一类广义对数行列式散度。
• 建立已知散度（如 Stein 损失、S-散度、AIRM 和 Jeffreys KL 散度）之间的理论联系。
• 开发参数化散度（Alpha-Beta 和 Gamma），以在实际应用中提升对噪声和异常值的鲁棒性。
• 将这些散度推广至多路（张量）结构，适用于多线性正态分布中的可分协方差矩阵。
• 为多变量高斯密度之间的散度提供闭式表达式，包括 Kullback-Leibler 散度、Bhattacharyya 散度和 Rényi 散度。

提出的方法

• 提出了一类参数化 Alpha-Beta（AB）和 Gamma 对数行列式散度，通过调节参数 α 和 β 来推广现有散度。
• 推导了多变量高斯密度之间 Gamma 散度的闭式表达式，可恢复为已知散度的特例。
• 利用矩阵对数、迹和 SPD 矩阵的行列式，建立散度之间的几何与代数联系。
• 应用张量积性质，将散度扩展至多路结构，用于建模多线性正态分布中的可分协方差矩阵。
• 推导了多路散度，如多路 Stein 损失和多路 Riemann 流形度量，均在行列式归一化约束下进行。
• 利用特征值分解和矩阵函数性质（如 log(P^α) = V log(Λ^α) V^T）推导解析形式与不变性特性。

实验结果

研究问题

• RQ1 如何构建一个统一框架，以连接多样化的 SPD 矩阵对数行列式散度？
• RQ2 已知散度（如 S-散度、AIRM 和 Stein 损失）之间的理论关系与对应关系是什么？
• RQ3 Alpha-Beta 和 Gamma 对数行列式散度如何推广现有散度，并提升对噪声和异常值的鲁棒性？
• RQ4 这些散度能否推广至多线性正态分布的多路（张量）结构？
• RQ5 多变量高斯密度之间 Gamma 散度的闭式表达式是什么？它们如何恢复已知散度？

主要发现

• Alpha-Beta 对数行列式散度族在特定 α 和 β 值下，包含了 Stein 损失、S-散度（JBLD）、AIRM 和 Jeffreys KL 散度作为特例。
• Gamma 散度为多变量高斯密度之间的散度提供了闭式表达式，包括 Kullback-Leibler 散度、Bhattacharyya 散度、Rényi 散度和 Cauchy-Schwarz 散度。
• 通过张量积性质，推导了可分协方差矩阵的多路散度，使多线性数据分析应用成为可能。
• 多路 Hilbert 度量和多路 Stein 损失在多线性变换下保持不变性，从而增强了鲁棒性。
• 回顾了对数行列式散度的对称化版本，并表明其在对称相似性估计中可提升性能。
• 在行列式归一化（det(P_k) = det(Q_k) = 1）条件下，多路 Riemann 流形度量和多路 Stein 损失得以简化，并保持几何一致性。