[論文レビュー] Bayesian estimators of the Gamma distribution

Alberto Llera, Christian F. Beckmann|arXiv (Cornell University)|Jul 12, 2016

Bayesian Methods and Mixture Models参考文献 7被引用数 3

ひとこと要約

本稿では、形状母数に対する適切な共役事前分布が存在しない問題に対処するため、正規化されていない共役事前分布とラプラース近似を用いて、ガンマ分布の形状および尺度母数の2つの新しいベイズ推定量を提案する。主な貢献は、バイアスを制御し最尤推定解に収束するように保証しつつ、変分ベイズ混合モデルなどの複雑なベイズモデルへのガンマ分布の統合を可能にすることにある。

ABSTRACT

In this paper we introduce two Bayesian estimators for learning the parameters of the Gamma distribution. The first algorithm uses a well known unnormalized conjugate prior for the Gamma shape and the second one uses a non-linear approximation to the likelihood and a prior on the shape that is conjugate to the approximated likelihood. In both cases use the Laplace approximation to compute the required expectations. We perform a theoretical comparison between maximum like- lihood and the presented Bayesian algorithms that allow us to provide non-informative parameter values for the priors hyper parameters. We also provide a numerical comparison using synthetic data. The introduction of these novel Bayesian estimators open the possibility of including Gamma distributions into more complex Bayesian structures, e.g. variational Bayesian mixture models.

研究の動機と目的

• ガンマ分布の形状母数に対する適切な共役事前分布の欠如により、完全なベイズ推論が困難であるという問題に対処すること。
• ガンマ分布に従うデータに対して計算的に効率的かつ解析的に扱いやすいベイズ推定手法を開発すること。
• 非情報的ハイパーパラメータのもとでベイズ推定量が最尤推定解に収束することを保証し、既存の最尤フレームワークとの互換性を確保すること。
• 変分ベイズ混合モデルや多次元因子分解などの高度なベイズモデルへのガンマ分布の統合を支援すること。
• 提案された推定量のバイアス特性と計算効率について、理論的および数値的妥当性を検証すること。

提案手法

• 形状母数に対して正規化されていない共役事前分布を用いるベイズ推定量（BL1）を提案し、尺度パラメータとハイパーパrameter a, b, c を含む非標準形式から導出する。
• 形状母数の事後期待値を計算するためにラプラース近似を用い、計算不能な積分を回避する。
• 形状母数に対して非線形近似されたガンマ分布の対数尤度と、この近似に対する共役事前分布を用いる第二のベイズ推定量（BL2）を導入する。
• 両手法において形状母数の事後分布に対してラプラース近似を適用し、閉形式での期待値推定を可能にする。
• 形状母数および尺度母数の事後ハイパーパラメータを導出する。尺度母数は標準的な共役ガンマ-ガンマ更新により更新される。
• 非情報的事前分布の設定により、ハイパーパラメータを調整し、特に b, c → 0+ とし、a を適切に選ぶことで、事後分布が最尤推定に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 適切な共役事前分布が存在しないにもかかわらず、ガンマ分布の形状母数に対するベイズ推定量を構築することは可能か？
• RQ2 非共役設定下で、形状母数の事後期待値を効果的に計算するために、ラプラース近似をどのように適用できるか？
• RQ3 非情報的ハイパーパラメータのもとで、提案されたベイズ推定量は最尤推定解に収束するか？
• RQ4 最尤法と比較して、これらのベイズ推定量の計算効率とバイアス特性はいかがなっているか？
• RQ5 これらのベイズ推定量は、変分ベイズ混合モデルなどの複雑なモデルへ拡張可能か？

主な発見

• 非情報的ハイパーパラメータを用いる場合、提案されたベイズ推定量（BL1 および BL2）は最尤推定解に収束する。特に b, c → 0+ でかつ a を適切に選ぶことで顕著に効果を示す。
• 両推定量の計算コストは最尤法と同等であり、特に BL2 は非線形尤度近似を用いるため ML2 よりも顕著に高速である。
• 数値実験の結果、ベイズ推定量は最尤推定量と同等のバイアス特性を示し、小標本サイズでも最小限のバイアス補正で十分である。
• ラプラース近似は、形状母数の事後平均を安定的かつ正確に推定する有効な手法であり、シミュレーションでも真の値に非常に近い近似値が得られる。
• 形状母数の事後ハイパーパラメータ（â, b̂, ĉ）は、十分統計量と事前ハイパーパラメータに依存する閉形式式で更新される。
• このフレームワークにより、解析的扱いやすさと共役更新との整合性を備えるため、変分ベイズ混合モデルや多次元因子分解などの上位レベルのベイズモデルへのガンマ分布の統合が可能になる。