[論文レビュー] On $φ$-families of probability distributions

Rui F. Vigelis, Charles C. Cavalcante|arXiv (Cornell University)|May 5, 2011

Statistical Mechanics and Entropy参考文献 14被引用数 6

ひとこと要約

本稿では、指数型分布族における指数関数を任意の成長率を許容する一般化された $\varphi$-関数に置き換えることで、一般化された確率分布族、すなわち $\varphi$-族を導入する。主な貢献は、正規化関数 $\psi$ を用いた Bregman 発散として $\varphi$-発散を定義し、$\varphi$ が Kaniadakis の $\kappa$-指数関数である場合の $\kappa$-発散に対して閉形式の表現を導出したことである。これは、Kullback–Leibler 発散を一般化するものである。

ABSTRACT

We generalize the exponential family of probability distributions. In our approach, the exponential function is replaced by a $φ$-function, resulting in a $φ$-family of probability distributions. We show how $φ$-families are constructed. In a $φ$-family, the analogue of the cumulant-generating function is a normalizing function. We define the $φ$-divergence as the Bregman divergence associated to the normalizing function, providing a generalization of the Kullback-Leibler divergence. A formula for the $φ$-divergence where the $φ$-function is the Kaniadakis' $κ$-exponential function is derived.

研究の動機と目的

• 指数関数を任意の成長特性を持つ一般化された $\varphi$-関数に置き換えることで、確率分布の指数型族を一般化すること。
• Musielak–Orlicz 空間を用いて、$C^{\infty}$-Banach多様体の連結成分として $\varphi$-族の確率分布を構成すること。
• 正規化関数 $\psi$ に関連する Bregman 発散として $\varphi$-発散を定義し、Kullback–Leibler 発散を一般化すること。
• $\varphi$ が Kaniadakis の $\kappa$-指数関数である場合の $\varphi$-発散に対して閉形式の表現を導出することにより、$\kappa$-発散を導入すること。

提案手法

• $\varphi$-族は、可測関数 $c$ を用いて構成され、$\varphi(t,c(t)) \in \mathcal{P}_{\mu}$ を満たす。要素は、$u$ を Musielak–Orlicz 空間 $L_c^\varphi$ に属するものとして、$\boldsymbol{\varphi}_{c}(u)(t) = \varphi(t, c(t) + u(t) - \psi(u)u_0(t))$ で定義される。
• 正規化関数 $\psi(u)$ は、指数型族における累積量母関数 $K_p(u)$ を置き換え、密度関数の正規化を保証する。
• $u_0(t)$ は、パrameter化の整合性を保ち、正しい正規化を確保するために選ばれる可測で非負の関数である。
• $\varphi$-発散は、正規化関数 $\psi$ に関連する Bregman 発散として定義され、$D_{\varphi}(p \| q) = D_\psi(u,v)$ で与えられる。ここで $p = \boldsymbol{\varphi}_c(u)$、$q = \boldsymbol{\varphi}_c(v)$ である。
• 逆関数を用いた $\varphi$-発散の閉形式表現が導出され、$D(p \| q) = \frac{\mathbb{E}\left[\frac{\varphi^{-1}(p) - \varphi^{-1}(q)}{(\varphi^{-1})'(p)}\right]}{\mathbb{E}\left[\frac{u_0}{(\varphi^{-1})'(p)}\right]}$ となる。
• Kaniadakis の $\kappa$-指数関数に対しては、$\kappa$-発散が $D_{\kappa}(p \| q) = \frac{1}{\kappa} \frac{\mathbb{E}_p\left[\frac{p^{\kappa}-p^{-\kappa}}{p^{\kappa}+p^{-\kappa}} - \frac{q^{\kappa}-q^{-\kappa}}{p^{\kappa}+p^{-\kappa}}\right]}{\mathbb{E}_p\left[\frac{2u_0}{p^{\kappa}+p^{-\kappa}}\right]}$ として導出される。

実験結果

リサーチクエスチョン

• RQ1 指数関数をより一般化された $\varphi$-関数に置き換えることで、確率分布の指数型族をどのように一般化できるか。
• RQ2 この新しい枠組みにおいて、累積量母関数の適切な一般化は何か。また、それはどのように定義されるか。
• RQ3 指数型族の場合に Kullback–Leibler 発散に還元される、この一般化された枠組みにおける発散測度をどのように構築できるか。
• RQ4 \varphi$ が Kaniadakis の $\kappa$-指数関数である場合の $\varphi$-発散の閉形式表現は何か。

主な発見

• $\varphi$-族の確率分布は、Musielak–Orlicz 空間を用いて $C^{\infty}$-Banach多様体の連結成分として構成され、一般化された $\varphi$-関数と正規化関数 $\psi$ を用いて密度関数が定義される。
• $\varphi$-発散は、正規化関数 $\psi$ を用いた Bregman 発散として定義され、非負性を保ち、密度関数が等しい場合に限り発散がゼロになる。
• 閉形式の $\varphi$-発散表現が導出され、$D(p \| q) = \frac{\mathbb{E}\left[\frac{\varphi^{-1}(p) - \varphi^{-1}(q)}{(\varphi^{-1})'(p)}\right]}{\mathbb{E}\left[\frac{u_0}{(\varphi^{-1})'(p)}\right]}$ となる。この表現は、$p$ と $q$ が同じ $\varphi$-族に属する場合にのみ有限になる。
• Kaniadakis の $\kappa$-指数関数に対しては、$\kappa$-発散が $D_{\kappa}(p \| q) = \frac{1}{\kappa} \frac{\mathbb{E}_p\left[\frac{p^{\kappa}-p^{-\kappa}}{p^{\kappa}+p^{-\kappa}} - \frac{q^{\kappa}-q^{-\kappa}}{p^{\kappa}+p^{-\kappa}}\right]}{\mathbb{E}_p\left[\frac{2u_0}{p^{\kappa}+p^{-\kappa}}\right]}$ として導出され、Kullback–Leibler 発散を一般化する。
• $\kappa \to 0$ の極限において $\kappa$-発散は Kullback–Leibler 発散に還元され、古典的ケースと整合することが確認される。