[論文レビュー] Alpha/Beta Divergences and Tweedie Models

Yusuf Kenan Yilmaz, Ali Taylan Cemgil|arXiv (Cornell University)|Sep 19, 2012

Statistical Mechanics and Entropy参考文献 19被引用数 13

ひとこと要約

本稿では、Tweedie指数分散モデルを用いて、alpha/beta散発度と直接的な確率的関係を確立する。具体的には、beta散発度がTweedie分布のユニットデバイアンスから自然に生じることを示し、alpha散発度は双対累積生成関数を介して関連づけられる。主な貢献は、分散関数の枠組みにおいてこれら散発度を統一することであり、beta散発度の最小化がTweedieモデル下での最尤推定に等しいことを明らかにする。

ABSTRACT

We describe the underlying probabilistic interpretation of alpha and beta divergences. We first show that beta divergences are inherently tied to Tweedie distributions, a particular type of exponential family, known as exponential dispersion models. Starting from the variance function of a Tweedie model, we outline how to get alpha and beta divergences as special cases of Csiszár's $f$ and Bregman divergences. This result directly generalizes the well-known relationship between the Gaussian distribution and least squares estimation to Tweedie models and beta divergence minimization.

研究の動機と目的

• alphaおよびbeta散発度の統計的解釈を、それらの背後にある確率モデルの観点から明確化すること。
• Tweedie指数分散モデルの理論に根ざして、散発度に関する散在する結果を統一すること。
• beta散発度の最小化がTweedie分布下での最尤推定に等しいことを示すこと。
• Csiszár f-散発度とBregman散発度を用いて、分散関数、累積生成関数、および散発度の関係を形式化すること。
• 尤度とモデル適合度に基づいて散発度を選択するための整合的枠組みを提供すること。

提案手法

• Tweedie分布の累積生成関数によって生成されるBregman散発度の特別な場合としてbeta散発度を導出する。
• 分散関数 v(μ) = μ^p を用いてTweedieモデルにおける平均と分散の関係を特徴づけ、これとβ散発度のパラメータpを直接関連付ける。
• 指数分散モデルの密度をβ散発度の項を用いて再定式化し、p(x;μ,φ) = g(x,φ) exp{−φ⁻¹dβ(x,μ)} を示す。
• beta散発度がユニットデバイアンスの半分に等しいことを確立し、飽和モデルとパラメトリックモデル間の対数尤度比にリンクさせる。
• μに関するβ散発度の勾配を微分してスコア関数を導出し、∂dβ/∂μ = −φ ∂ℒx(μ)/∂μ を示す。これにより、散発度の最小化と尤度の最大化が等価であることを証明する。
• pおよびφの最適化を分析する際、尤度を基本測度 h(x,φ,p) の項で表現し、特定のp値（例：p=0,1,2,3）でのみ閉形式解が存在することに注目する。

実験結果

リサーチクエスチョン

• RQ1 alphaおよびbeta散発度は、分散関数を通じてどのようにTweedie指数分散モデルに関連しているか？
• RQ2 尤度推定の観点から、beta散発度を最小化することはどのような統計的意味を持つのか？
• RQ3 なぜカルバック・ライバラー散発度が、同時にα-およびβ散発度である唯一の散発度なのであろうか？
• RQ4 指数分散モデルにおけるユニットデバイアンスから、β散発度はどのように導出できるのか？
• RQ5 累積生成関数は、α-およびβ散発度の生成において果たす役割は何か？

主な発見

• beta散発度は、指数分散モデルにおけるユニットデバイアンスと数学的に等価であり、dβ(x,μ) = ½dν(x,μ) が成り立つ。これにより、散発度の最小化が対数尤度比の最大化に直接結びつく。
• beta散発度の最小化は、Tweedieモデル下での対数尤度の最大化に等しく、∂dβ/∂μ = −φ ∂ℒx(μ)/∂μ により証明される。
• Tweedie分布の密度は、p(x;μ,φ) = g(x,φ) exp{−φ⁻¹dβ(x,μ)} と書き直すことができ、β散発度が指数型自然分布の形に明示的に埋め込まれている。
• 分散関数 v(μ) = μ^p はTweedie族を完全に特徴づけ、このべき乗関係がパラメータpに対応するβ散発度を生成する。
• p=2の場合、モデルは正規分布に対応し、dβ(x,μ) は二乗誤差に簡略化され、古典的な最小二乗法の同等性が回復される。
• α散発度は双対累積生成関数を通じてβ散発度と関連づけられ、KL散発度は両者の族の唯一の交点として特定される。