[論文レビュー] Generalized Bayesian Updating and the Loss-Likelihood Bootstrap

Simon Lyddon, Chris Holmes+1 more|arXiv (Cornell University)|Sep 22, 2017

Bayesian Methods and Mixture Models参考文献 17被引用数 4

ひとこと要約

本稿では、ベイズ非パラメトリック枠組みの下で期待損失を最小化するパラメータのための事後分布サンプリングに拡張された重み付き尤度ブートストラップ（loss-likelihood bootstrap）を導入する。この手法は、漸近的フィッシャー情報による損失関数のキャリブレーションを通じて一般ベイズ更新と結びつけ、完全な尤度の指定を必要とせずに頑健な事後分布推論を可能にする。

ABSTRACT

In this paper we revisit the weighted likelihood bootstrap, a method that generates samples from an approximate Bayesian posterior of a parametric model. We show that the same method can be derived, without approximation, under a Bayesian nonparametric model with the parameter of interest defined as minimising an expected negative log-likelihood under an unknown sampling distribution. This interpretation enables us to extend the weighted likelihood bootstrap to posterior sampling for parameters minimizing an expected loss. We call this method the loss-likelihood bootstrap. We make a connection between this and general Bayesian updating, which is a way of updating prior belief distributions without needing to construct a global probability model, yet requires the calibration of two forms of loss function. The loss-likelihood bootstrap is used to calibrate the general Bayesian posterior by matching asymptotic Fisher information. We demonstrate the methodology on a number of examples.

研究の動機と目的

• 尤度に基づく推論を超えて、一般の期待損失関数を最小化するパラメータのための重み付き尤度ブートストラップを拡張すること。
• 近似誤差を排除する、重み付き尤度ブートストラップの原理的でベイズ非パラメトリックな解釈を提供すること。
• 漸近的フィッシャー情報による損失関数のキャリブレーションを通じて、損失ベースの推論と一般ベイズ更新を結びつけること。
• 完全なグローバル確率モデルを必要としない、事後分布サンプリングのための手法を開発すること。
• 損失尤度ブートストラップが多様な統計モデルにおいて頑健で柔軟であることを示すこと。

提案手法

• パラメータが期待負の対数尤度を最小化するベイズ非パラメトリックモデルの下で、重み付き尤度ブートストラップが正確な事後分布サンプリング手法として導出されることを示す。
• 任意の期待損失関数を最小化するパラメータにこの手法を一般化し、損失尤度ブートストラップを導入する。
• 事後分布の漸近的フィッシャー情報が参照モデルのそれと一致するようにすることで、損失尤度ブートストラップと一般ベイズ更新との間の関係を確立する。
• 一般ベイズ更新に必要な2つの損失関数を、損失尤度ブートストラップからの漸近的フィッシャー情報を使ってキャリブレートする。
• 損失尤度ブートストラップを用いて、最小限のモデリング仮定のもとで漸近的に有効な事後分布サンプルを生成する。
• さまざまなパラメトリックモデルにこの手法を適用し、その性能と頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 重み付き尤度ブートストラップは、ベイズ非パラメトリックモデルのもとで近似を伴わずに導出可能か？
• RQ2 重み付き尤度ブートストラップは、一般の損失関数を最小化するパラメータにどのように拡張可能か？
• RQ3 損失関数のキャリブレーションという観点から、損失ベースの推論と一般ベイズ更新の間の関係は何か？
• RQ4 損失尤度ブートストラップを用いて、漸近的フィッシャー情報の一致を介して一般ベイズ事後分布をキャリブレート可能か？
• RQ5 損失尤度ブートストラップは、さまざまな統計モデルにおいて実際の場面でどのように性能を発揮するか？

主な発見

• 重み付き尤度ブートストラップが、期待負の対数尤度に基づくミニマックスリスク基準を用いたベイズ非パラメトリックモデルにおける正確な事後分布サンプリングと等価であることが示された。
• 損失尤度ブートストラップにより、任意の期待損失関数を最小化するパラメータの有効な事後分布サンプリングが可能となり、尤度に基づく推論を超えた拡張が実現された。
• 漸近的フィッシャー情報による損失関数のキャリブレーションを通じて、損失ベースの推論と一般ベイズ更新との間の正式なリンクが確立された。
• 損失尤度ブートストラップの事後分布の漸近的フィッシャー情報が、参照尤度ベースの事後分布のそれと一致し、頻度主義的妥当性が保証された。
• このアプローチは、完全な尤度の指定が困難なモデルを含む複数の例において、効果的で頑健であることが実証された。
• 損失関数のみが利用可能な状況において、完全なベイズモデリングの実用的で理論的根拠を持つ代替手法を提供する。