[论文解读] A scaled Bregman theorem with applications

Richard Nock, Aditya Krishna Menon+1 more|arXiv (Cornell University)|Jul 1, 2016

Statistical Mechanics and Entropy参考文献 34被引用 4

一句话总结

本文提出了缩放Bregman定理，这是一种新颖的恒等式，可将非凸、非对称的畸变（如曲面流形上的测地线距离或规范归一化投影）重新表达为经过变换数据上的缩放Bregman散度。主要贡献在于对先前基于Bregman的约化方法进行了推广，使复杂学习问题能够被精确重构为Bregman最小化框架，从而利用Bregman散度丰富的分析性质，改进多类密度比估计、自适应镜像下降以及流形聚类中的算法设计与分析。

ABSTRACT

Bregman divergences play a central role in the design and analysis of a range of machine learning algorithms. This paper explores the use of Bregman divergences to establish reductions between such algorithms and their analyses. We present a new scaled isodistortion theorem involving Bregman divergences (scaled Bregman theorem for short) which shows that certain "Bregman distortions'" (employing a potentially non-convex generator) may be exactly re-written as a scaled Bregman divergence computed over transformed data. Admissible distortions include geodesic distances on curved manifolds and projections or gauge-normalisation, while admissible data include scalars, vectors and matrices. Our theorem allows one to leverage to the wealth and convenience of Bregman divergences when analysing algorithms relying on the aforementioned Bregman distortions. We illustrate this with three novel applications of our theorem: a reduction from multi-class density ratio to class-probability estimation, a new adaptive projection free yet norm-enforcing dual norm mirror descent algorithm, and a reduction from clustering on flat manifolds to clustering on curved manifolds. Experiments on each of these domains validate the analyses and suggest that the scaled Bregman theorem might be a worthy addition to the popular handful of Bregman divergence properties that have been pervasive in machine learning.

研究动机与目标

• 通过引入一个新恒等式，将任意畸变重写为缩放Bregman散度，以推广现有的基于Bregman的约化方法。
• 将多种学习问题（如多类密度比估计、无投影镜像下降、曲面流形上的聚类）统一到统一的Bregman散度框架下。
• 在原始畸变不满足凸性或对称性的情况下，使已建立的Bregman散度性质（例如三角不等式、对偶对称性、质心最小化）得以应用。
• 为将复杂、非Bregman型距离转换为Bregman形式提供理论基础，从而简化分析与算法设计。

提出的方法

• 提出一个新的恒等式——缩放Bregman定理，其内容为：通过潜在非凸生成器 $ \boldsymbol{\nu} $ 定义的畸变 $ D_{\boldsymbol{\nu}} $ 可被精确重写为 $ D_{\boldsymbol{\nu}}(\mathbf{x} \| \mathbf{y}) = g(\mathbf{x}) \cdot D_{\varphi}(\mathbf{x}/g(\mathbf{x}) \| \mathbf{y}/g(\mathbf{y})) $，其中 $ g $ 为规范函数。
• 通过利用Bregman恒等式与贝叶斯法则，将多类密度比估计重新表述为多类类别概率估计问题。
• 提出一种新型自适应、无投影镜像下降算法，通过利用缩放Bregman结构在保持迭代和偏移范数的同时，维持收敛性保证。
• 利用该定理将平坦流形聚类初始化方法推广至曲面流形，证明曲面上的测地线距离可通过适当的坐标提升嵌入为Bregman散度。
• 通过Bregman散度的泰勒展开揭示，该定理对应于变换空间与原始空间之间的一种参数依赖、自适应等距映射。
• 通过多类密度比估计、在线优化与聚类的实验验证了理论框架，结果表明性能提升且理论一致性良好。

实验结果

研究问题

• RQ1 能否通过数据变换将非凸、非对称的畸变（如曲面流形上的测地线距离）精确重写为Bregman散度？
• RQ2 缩放Bregman定理是否能实现此前不可通约的学习问题之间的约化，如多类密度比估计与多类类别概率估计？
• RQ3 该定理能否用于设计新型优化算法，使其既无投影又强制范数约束，同时保持收敛性保证？
• RQ4 在曲面流形上，聚类算法在多大程度上能通过该变换继承其平坦流形对应方法的近似保证？
• RQ5 缩放Bregman恒等式是否为先前基于Bregman的约化（如Menon与Ong, 2016年提出的二分类密度比估计到类别概率估计的约化）的一般化？

主要发现

• 缩放Bregman定理建立了一个精确恒等式，将通过非凸生成器 $ \boldsymbol{\nu} $ 定义的畸变重写为变换数据上的缩放Bregman散度，使Bregman的分析性质可在非标准设置中应用。
• 该定理将Menon与Ong (2016) 提出的二分类密度比到类别概率的约化推广至多类情形，表明多类密度比估计可通过Bregman恒等式约化为多类类别概率估计。
• 提出一种自适应、无投影镜像下降算法，通过利用缩放Bregman结构强制迭代与偏移范数，并在新框架下具备理论收敛保证。
• 提出一种针对正曲率或负曲率流形的新聚类初始化方法，通过提升平坦流形的初始化程序，在保持与欧氏情形相同近似保证的同时实现对曲面流形的适用。
• 实验验证了所有三个应用场景中的理论主张：多类密度比估计中的约化显著提升了估计精度；自适应镜像下降算法在在线学习中优于基线方法；在曲面流形上的聚类初始化保持了优异性能。
• 理论分析表明，该变换对应于一种参数依赖、自适应等距映射，其中变换空间中的度量由规范函数 $ g $ 缩放，通过生成器的Hessian矩阵将原始空间与变换空间中的距离联系起来。