[论文解读] Minimization Problems Based on a Parametric Family of Relative Entropies II: Reverse Projection.

M. Ashok Kumar, Rajesh Sundaresan|arXiv (Cornell University)|Oct 9, 2014

Statistical Mechanics and Entropy参考文献 33被引用 4

一句话总结

本文引入了一类参数化的相对 α-熵（Iα），推广了 Kullback-Leibler 散度，并研究了在闭凸集上的反向 Iα 投影最小化问题。本文证明了最小化解的存在性，推导出反向投影的幂律形式，并利用信息几何与毕达哥拉斯性质，推广了最大 Renyi/Tsallis 熵原理。

ABSTRACT

Minimization problems with respect to a one-parameter family of generalized relative entropies are studied. These relative entropies, which we term relative α-entropies (denoted Iα), arise as redundancies under mismatched compression when cumulants of compressed lengths are considered instead of expected compressed lengths. These parametric relative entropies are a generalization of the usual relative entropy (Kullback-Leibler divergence). Just like relative entropy, these relative α-entropies behave like squared Euclidean distance and satisfy the Pythagorean property. Minimizers of these relative α-entropies on closed and convex sets are shown to exist. Such minimizations generalize the maximum Renyi or Tsallis entropy principle. The minimizing probability distribution (termed forward Iα-projection) for a linear family is shown to have a power-law. Other results in connection with statistical inference, namely subspace transitivity and iterated projections, are also established. In a companion paper, a related minimization problem of interest in robust statistics that leads to a reverse Iα-projection is studied. Index Terms Best approximant; exponential family; information geometry; Kullback-Leibler divergence; linear family; power-law family; projection; Pythagorean property; relative entropy; Renyi entropy; Tsallis entropy.

研究动机与目标

• 将广义相对熵最小化从正向投影扩展至反向 Iα 投影，以支持稳健的统计推断。
• 在闭凸集上建立相对 α-熵最小化解的理论基础，推广经典信息几何。
• 通过 Iα 散度的参数族统一并扩展最大 Renyi 和 Tsallis 熵原理。
• 在 Iα 投影背景下研究子空间传递性与迭代投影性质。
• 刻画反向 Iα 投影的结构，表明其产生幂律族分布。

提出的方法

• 将基于压缩长度矩生成的一参数相对 α-熵族（Iα）形式化为广义散度。
• 应用信息几何分析 Iα 在线性族与闭凸集上的最小化问题。
• 利用 Iα 的毕达哥拉斯性质推导投影的结构性结果，类比于平方欧几里得距离。
• 推导反向 Iα 投影的形式，表明其在线性约束下属于幂律族。
• 利用 Iα 的几何结构建立子空间传递性与迭代投影收敛性。
• 利用正向与反向投影之间的对偶性，推广熵最大化原理。

实验结果

研究问题

• RQ1 反向 Iα 投影在闭凸集上的行为如何？最小化解是否存在？
• RQ2 反向 Iα 投影的函数形式是什么？其与幂律族有何关联？
• RQ3 Iα 散度如何推广最大 Renyi 与 Tsallis 熵原理？
• RQ4 毕达哥拉斯性质在 Iα 投影几何中起什么作用？
• RQ5 在 Iα 框架下，子空间传递性与迭代投影行为如何？

主要发现

• 在闭凸集上，相对 α-熵（Iα）的最小化解存在，将经典结果推广至广义散度。
• 在投影到线性族时，反向 Iα 投影产生属于幂律族的概率分布。
• Iα 散度满足毕达哥拉斯性质，支持投影的几何分解。
• 该框架通过统一的参数族推广了最大 Renyi 与 Tsallis 熵原理。
• Iα 投影满足子空间传递性，确保在嵌套子空间中行为一致。
• 在 Iα 框架下，迭代投影收敛，支持迭代推理与近似算法。