[논문 리뷰] On $φ$-families of probability distributions

Rui F. Vigelis, Charles C. Cavalcante|arXiv (Cornell University)|2011. 05. 05.

Statistical Mechanics and Entropy참고 문헌 14인용 수 6

한 줄 요약

이 논문은 지수족 확률 분포의 일반화된 가족인 $\varphi$-족을 도입한다. 이는 지수족에서 지수 함수를 임의의 성장률을 가질 수 있는 일반적인 $\varphi$-함수로 대체함으로써 이루어지며, 핵심 기여는 정규화 함수 $\psi$를 기반으로 한 Bregman 발산으로서 $\varphi$-발산을 정의하고, $\varphi$가 Kaniadakis $\kappa$-지수 함수일 경우 $\kappa$-발산에 대한 닫힌 형태의 표현식을 유도한 것이다. 이는 Kullback–Leibler 발산을 일반화한다.

ABSTRACT

We generalize the exponential family of probability distributions. In our approach, the exponential function is replaced by a $φ$-function, resulting in a $φ$-family of probability distributions. We show how $φ$-families are constructed. In a $φ$-family, the analogue of the cumulant-generating function is a normalizing function. We define the $φ$-divergence as the Bregman divergence associated to the normalizing function, providing a generalization of the Kullback-Leibler divergence. A formula for the $φ$-divergence where the $φ$-function is the Kaniadakis' $κ$-exponential function is derived.

연구 동기 및 목표

• 지수족 확률 분포를 일반화하기 위해 지수 함수를 임의의 성장 특성을 가진 일반적인 $\\varphi$-함수로 대체함으로써 그 범위를 넓히는 것.
• Musielak–Orlicz 공간을 사용하여 $C^{\\infty}$-Banach 다양체의 연결된 구성요소로 $\varphi$-족 확률 분포를 구성하는 것.
• 정규화 함수 $\psi$와 관련된 Bregman 발산으로서 $\varphi$-발산을 정의하고, Kullback–Leibler 발산을 일반화하는 것.
• 만약 $\varphi$가 Kaniadakis $\kappa$-지수 함수일 경우, $\varphi$-발산에 대한 닫힌 형태의 표현식을 유도하여 $\kappa$-발산을 도입하는 것.

제안 방법

• $\varphi$-족은 측도 가능 함수 $c$를 사용하여 구성되며, $\varphi(t,c(t)) \in \mathcal{P}_{\mu}$를 만족한다. 원소는 $u$가 Musielak–Orlicz 공간 $L_c^\varphi$에 속할 때, $\boldsymbol{\varphi}_{c}(u)(t) = \varphi(t, c(t) + u(t) - \psi(u)u_0(t))$로 정의된다.
• 정규화 함수 $\psi(u)$는 지수족에서의 누산 생성 함수 $K_p(u)$를 대체하며, 밀도의 정규화를 보장한다.
• $u_0(t)$는 측도 가능하고 비음수인 함수로, 매개변수화의 일관성을 유지하고 올바른 정규화를 보장하기 위해 선택된다.
• $\varphi$-발산은 정규화 함수 $\psi$와 관련된 Bregman 발산으로 정의되며, $D_{\varphi}(p \| q) = D_\psi(u,v)$로 표현되며, 여기서 $p = \boldsymbol{\varphi}_c(u)$, $q = \boldsymbol{\varphi}_c(v)$이다.
• $\varphi$-함수의 역함수를 사용하여 $\varphi$-발산에 대한 닫힌 형태의 표현식을 유도한다: $D(p \| q) = \frac{\mathbb{E}\left[\frac{\varphi^{-1}(p) - \varphi^{-1}(q)}{(\varphi^{-1})'(p)}\right]}{\mathbb{E}\left[\frac{u_0}{(\varphi^{-1})'(p)}\right]}$.
• Kaniadakis $\kappa$-지수 함수의 경우, $\kappa$-발산은 다음과 같이 유도된다: $D_{\kappa}(p \| q) = \frac{1}{\kappa} \frac{\mathbb{E}_p\left[\frac{p^{\kappa}-p^{-\kappa}}{p^{\kappa}+p^{-\kappa}} - \frac{q^{\kappa}-q^{-\kappa}}{p^{\kappa}+p^{-\kappa}}\right]}{\mathbb{E}_p\left[\frac{2u_0}{p^{\kappa}+p^{-\kappa}}\right]}$.

실험 결과

연구 질문

• RQ1 지수족 확률 분포는 어떻게 지수 함수를 더 일반적인 $\varphi$-함수로 대체함으로써 일반화할 수 있는가?
• RQ2 이 새로운 프레임워크에서 누산 생성 함수의 적절한 일반화는 무엇이며, 어떻게 정의되는가?
• RQ3 지수족의 경우 Kullback–Leibler 발산으로 줄어드는 발산 측도는 어떻게 이 일반화된 프레임워크에서 구성할 수 있는가?
• RQ4 만약 $\varphi$가 Kaniadakis $\kappa$-지수 함수일 경우, $\varphi$-발산에 대한 닫힌 형태의 표현식은 무엇인가?

주요 결과

• $\varphi$-족 확률 분포는 Musielak–Orlicz 공간을 사용하여 $C^{\infty}$-Banach 다양체의 연결된 구성요소로 구성되며, 일반적인 $\varphi$-함수와 정규화 함수 $\psi$를 통해 밀도가 정의된다.
• $\varphi$-발산은 정규화 함수 $\psi$를 기반으로 한 Bregman 발산으로 정의되며, 비음수성을 보장하고, 밀도가 동일할 경우에만 발산이 0이 된다.
• $\varphi$-발산에 대한 닫힌 형태의 표현식이 유도되었으며, $D(p \| q) = \frac{\mathbb{E}\left[\frac{\varphi^{-1}(p) - \varphi^{-1}(q)}{(\varphi^{-1})'(p)}\right]}{\mathbb{E}\left[\frac{u_0}{(\varphi^{-1})'(p)}\right]}$이다. 이 표현식은 $p$와 $q$가 동일한 $\varphi$-족에 속할 때에만 유한하다.
• Kaniadakis $\kappa$-지수 함수의 경우, $\kappa$-발산은 $D_{\kappa}(p \| q) = \frac{1}{\kappa} \frac{\mathbb{E}_p\left[\frac{p^{\kappa}-p^{-\kappa}}{p^{\kappa}+p^{-\kappa}} - \frac{q^{\kappa}-q^{-\kappa}}{p^{\kappa}+p^{-\kappa}}\right]}{\mathbb{E}_p\left[\frac{2u_0}{p^{\kappa}+p^{-\kappa}}\right]}$로 유도되었으며, Kullback–Leibler 발산을 일반화한다.
• $\kappa \to 0$의 극한에서 $\kappa$-발산은 Kullback–Leibler 발산으로 줄어들며, 고전적 경우와의 일致성을 확인한다.