[论文解读] Infinite-dimensional Log-Determinant divergences II: Alpha-Beta divergences

Hà Quang Minh|arXiv (Cornell University)|Oct 13, 2016

Mathematical Inequalities and Applications参考文献 8被引用 4

一句话总结

本文引入了一类广义的 Alpha-Beta 对数行列式散度，适用于希尔伯特空间上无限维的正定单位化迹类算子，扩展了有限维的 Alpha-Beta 散度。该研究证明这些散度统一了关键度量，如仿射不变黎曼距离和对称 Stein 散度，并通过格拉姆矩阵为再生核希尔伯特空间（RKHS）中的协方差算子提供了闭式表达式。

ABSTRACT

This work presents a parametrized family of divergences, namely Alpha-Beta Log- Determinant (Log-Det) divergences, between positive definite unitized trace class operators on a Hilbert space. This is a generalization of the Alpha-Beta Log-Determinant divergences between symmetric, positive definite matrices to the infinite-dimensional setting. The family of Alpha-Beta Log-Det divergences is highly general and contains many divergences as special cases, including the recently formulated infinite dimensional affine-invariant Riemannian distance and the infinite-dimensional Alpha Log-Det divergences between positive definite unitized trace class operators. In particular, it includes a parametrized family of metrics between positive definite trace class operators, with the affine-invariant Riemannian distance and the square root of the symmetric Stein divergence being special cases. For the Alpha-Beta Log-Det divergences between covariance operators on a Reproducing Kernel Hilbert Space (RKHS), we obtain closed form formulas via the corresponding Gram matrices.

研究动机与目标

• 将有限维的 Alpha-Beta 对数行列式散度推广至正定单位化迹类算子的无限维设定中。
• 在单一参数框架下统一现有散度，如仿射不变黎曼距离和对称 Stein 散度。
• 通过格拉姆矩阵推导再生核希尔伯特空间（RKHS）中协方差算子之间散度的闭式表达式。
• 建立散度的度量性质，包括对称性、正定性以及三角不等式。
• 为对数行列式散度在无限维希尔伯特空间中的理论基础提供严谨的收敛性与连续性证明。

提出的方法

• 利用扩展的弗雷德霍姆行列式与迹类算子理论，定义正定单位化迹类算子的 Alpha-Beta 对数行列式散度。
• 通过谱分解与有限秩逼近，将有限维结果推广至无限维情形。
• 应用迹范数收敛性与弗雷德霍姆行列式的连续性，证明逼近下极限的保持性。
• 通过将协方差算子与输入数据的格拉姆矩阵关联，推导出 RKHS 中散度的闭式公式。
• 证明 Alpha-Beta 对数行列式散度的平方根在正定单位化迹类算子空间上构成一个度量。
• 表明特殊情形包括仿射不变黎曼距离（极限情况 α=0, β=0）与对称 Stein 散度（α=β=1/2）。

实验结果

研究问题

• RQ1 有限维的 Alpha-Beta 对数行列式散度能否在正定单位化迹类算子的无限维设定中被严格推广？
• RQ2 在无限维设定下，Alpha-Beta 对数行列式散度是否能统一已知散度，如仿射不变黎曼距离与对称 Stein 散度？
• RQ3 再生核希尔伯特空间（RKHS）中协方差算子之间 Alpha-Beta 对数行列式散度的闭式表达式是什么？
• RQ4 Alpha-Beta 对数行列式散度的平方根是否为正定单位化迹类算子空间上的有效度量？
• RQ5 弗雷德霍姆行列式与算子范数的收敛性与连续性性质如何确保无限维散度定义的有效性？

主要发现

• 对于所有 α, β > 0，Alpha-Beta 对数行列式散度在正定单位化迹类算子空间上均有定义，且为连续、对称、正定的散度。
• 当 D(0,0)(A,B) 取极限时，可恢复仿射不变黎曼距离，确认其在新框架中作为特例的角色。
• 当 D(1/2,1/2)(A,B) 时，可获得对称 Stein 散度，且其平方根已被证明为正定单位化迹类算子空间上的度量。
• 对于 RKHS 中的协方差算子，Alpha-Beta 对数行列式散度可表示为对应格拉姆矩阵的闭式表达式，从而实现高效计算。
• Alpha-Beta 对数行列式散度的平方根满足三角不等式，确立其为正定单位化迹类算子空间上的有效度量。
• 该散度在酉变换下保持不变，并在有限秩逼近下保持收敛性，确保了其鲁棒性与数值可行性。