[论文解读] On $φ$-families of probability distributions

Rui F. Vigelis, Charles C. Cavalcante|arXiv (Cornell University)|May 5, 2011

Statistical Mechanics and Entropy参考文献 14被引用 6

一句话总结

本文通过用允许任意增长率的一般 $\varphi$-函数替代指数族中的指数函数，引入了一类广义的几率分布家族，即 $\varphi$-族。其主要贡献在于基于归一化函数 $\psi$ 定义了 $\varphi$-散度为 Bregman 散度，并推导出当 $\varphi$ 为 Kaniadakis $\kappa$-指数函数时 $\kappa$-散度的闭式表达式，从而推广了 Kullback–Leibler 散度。

ABSTRACT

We generalize the exponential family of probability distributions. In our approach, the exponential function is replaced by a $φ$-function, resulting in a $φ$-family of probability distributions. We show how $φ$-families are constructed. In a $φ$-family, the analogue of the cumulant-generating function is a normalizing function. We define the $φ$-divergence as the Bregman divergence associated to the normalizing function, providing a generalization of the Kullback-Leibler divergence. A formula for the $φ$-divergence where the $φ$-function is the Kaniadakis' $κ$-exponential function is derived.

研究动机与目标

• 通过用具有任意增长率特性的通用 $\varphi$-函数替代指数族中的指数函数，推广几率分布的指数族。
• 利用 Musielak–Orlicz 空间构造 $C^{\infty}$-Banach 流形的一个连通分支，形成 $\varphi$-族几率分布。
• 基于归一化函数 $\psi$ 将 $\varphi$-散度定义为与之关联的 Bregman 散度，从而推广 Kullback–Leibler 散度。
• 当 $\varphi$ 为 Kaniadakis $\kappa$-指数函数时，推导出 $\varphi$-散度的闭式表达式，引入 $\kappa$-散度。

提出的方法

• 通过一个可测函数 $c$ 构造 $\varphi$-族，使得 $\varphi(t,c(t)) \in \mathcal{P}_{\mu}$，其中元素定义为 $\boldsymbol{\varphi}_{c}(u)(t) = \varphi(t, c(t) + u(t) - \psi(u)u_0(t))$，$u$ 属于 Musielak–Orlicz 空间 $L_c^\varphi$。
• 归一化函数 $\psi(u)$ 取代了指数族中的累积生成函数 $K_p(u)$，以确保密度函数的归一化。
• 函数 $u_0(t)$ 是一个可测的非负函数，用于保持参数化的一致性，并确保正确的归一化。
• $\varphi$-散度被定义为与 $\psi$ 关联的 Bregman 散度，表达式为 $D_{\varphi}(p \| q) = D_\psi(u,v)$，其中 $p = \boldsymbol{\varphi}_c(u)$，$q = \boldsymbol{\varphi}_c(v)$。
• 利用 $\varphi$-函数的逆函数，推导出 $\varphi$-散度的闭式表达式：$D(p \| q) = \frac{\mathbb{E}\left[\frac{\varphi^{-1}(p) - \varphi^{-1}(q)}{(\varphi^{-1})'(p)}\right]}{\mathbb{E}\left[\frac{u_0}{(\varphi^{-1})'(p)}\right]}$。
• 对于 Kaniadakis $\kappa$-指数函数，推导出 $\kappa$-散度为 $D_{\kappa}(p \| q) = \frac{1}{\kappa} \frac{\mathbb{E}_p\left[\frac{p^{\kappa}-p^{-\kappa}}{p^{\kappa}+p^{-\kappa}} - \frac{q^{\kappa}-q^{-\kappa}}{p^{\kappa}+p^{-\kappa}}\right]}{\mathbb{E}_p\left[\frac{2u_0}{p^{\kappa}+p^{-\kappa}}\right]}$。

实验结果

研究问题

• RQ1 如何通过用更一般的 $\varphi$-函数替代指数函数，来推广几率分布的指数族？
• RQ2 在此新框架中，累积生成函数的适当推广是什么？它如何定义？
• RQ3 如何在此广义框架中构造一个散度度量，使其在指数族情况下退化为 Kullback–Leibler 散度？
• RQ4 当 $\varphi$ 为 Kaniadakis $\kappa$-指数函数时，$\varphi$-散度的闭式表达式是什么？

主要发现

• 通过使用 Musielak–Orlicz 空间，将 $\varphi$-族几率分布构造为 $C^{\infty}$-Banach 流形的一个连通分支，其密度通过一般 $\varphi$-函数和归一化函数 $\psi$ 定义。
• $\varphi$-散度被定义为基于归一化函数 $\psi$ 的 Bregman 散度，确保非负性，并且当且仅当密度相等时散度为零。
• 推导出 $\varphi$-散度的闭式表达式：$D(p \| q) = \frac{\mathbb{E}\left[\frac{\varphi^{-1}(p) - \varphi^{-1}(q)}{(\varphi^{-1})'(p)}\right]}{\mathbb{E}\left[\frac{u_0}{(\varphi^{-1})'(p)}\right]}$，该表达式仅在 $p$ 和 $q$ 属于同一 $\varphi$-族时为有限值。
• 对于 Kaniadakis $\kappa$-指数函数，推导出 $\kappa$-散度为 $D_{\kappa}(p \| q) = \frac{1}{\kappa} \frac{\mathbb{E}_p\left[\frac{p^{\kappa}-p^{-\kappa}}{p^{\kappa}+p^{-\kappa}} - \frac{q^{\kappa}-q^{-\kappa}}{p^{\kappa}+p^{-\kappa}}\right]}{\mathbb{E}_p\left[\frac{2u_0}{p^{\kappa}+p^{-\kappa}}\right]}$，从而推广了 Kullback–Leibler 散度。
• $\kappa$-散度在 $\kappa \to 0$ 的极限下退化为 Kullback–Leibler 散度，确认了与经典情况的一致性。