[論文レビュー] Principled Bayesian Minimum Divergence Inference

Jack Jewson, Jim Q. Smith+1 more|arXiv (Cornell University)|Feb 26, 2018

Advanced Statistical Methods and Models参考文献 29被引用数 3

ひとこと要約

本稿では、KL発散度を超えて任意の統計的発散度測度に一般化できる、原理的で整合性のあるベイズ枠組みを提案する。これにより、モデルが誤って指定されている場合でも、頑健で妥当なパラメータ更新が可能になる。発散度の選択を主観的に行えることにより、多様なデータ状況下で頑健性と予測精度が向上し、シミュレーションおよび実データを用いた実証的検証がなされている。

ABSTRACT

When it is acknowledged that all candidate parameterised statistical models are misspecified relative to the data generating process, the decision maker must concern themselves with the KL-divergence minimising parameter in order to maintain principled statistical practice (Walker, 2013). However, it has long been known that the KL-divergence places a large weight on correctly capturing the tails of the data generating process. As a result traditional inference can be very non-robust. In this paper we advance recent methodological developments in general Bayesian updating (Bissiri, Holmes and Walker, 2016) to propose a statistically well principled Bayesian updating of beliefs targeting the minimisation of any statistical divergence. We improve both the motivation and the statistical foundations of existing Bayesian minimum divergence estimation (Hooker and Vidyashankar, 2014, Ghosh and Basu, 2016), for the first time allowing the well principled Bayesian to target predictions from the model that are close to the data generating process in terms of some alternative divergence measure to the KL-divergence. We argue that defining this divergence measure forms an important, subjective part of any statistical analysis. We here illustrate our method a broad array of divergence measures. We then compare the performance of the different divergence measures for conducting simple inference tasks on both simulated and real data sets, and discuss then how our methods might apply to more complicated, high dimensional models.

研究の動機と目的

• 従来のKL発散度に基づくベイズ推論には、尾部の挙動に過剰に重きを置き、頑健性に欠ける結果をもたらすという限界があるため、これを是正すること。
• Bissiriら（2016）の一般化されたベイズ更新（general Bayesian updating）を、KL発散度に限らず任意の統計的発散度の最小化を許容するように拡張すること。
• ユーザーが定義した発散度測度に基づき、データ生成過程に近い予測を求める、統計的に整合性のあるベイズ更新の枠組みを提供すること。
• 代替的発散度が、シミュレーションおよび実世界のデータにおいて、頑健性と性能を向上させる実用的利点を示すこと。
• 複雑で高次元のモデルへの最小発散度推論の応用の基盤を構築すること。

提案手法

• 一般化されたベイズ更新（Bissiriら、2016）を、KL発散度に限らず任意の統計的発散度の最小化を許容するように適応する。
• 発散度測度を設計上の選択肢として取り入れる柔軟なベイズ更新スキームを導入し、モデルの誤指定下でも原理的推論を可能にする。
• 事後分布更新に発散度に基づく損失関数を用い、対数尤度の代わりに発散度に基づく損失をパラメータ学習の指針とする。
• ユーザーが指定した発散度を最小化するように、ベイズ的原則と整合性を保ちつつ、一般化された事後分布の形を採用する。
• f-発散度やその他の積分確率的メトリクスを含む広範な発散度クラスをサポートし、柔軟なモデリングを可能にする。
• シミュレーションスタディおよび実データ応用を通じて、異なる発散度選択における性能を比較して、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデルが誤って指定されている場合、特にKL発散度が尾部に過剰に重きを置き、尾部で過学習を引き起こす場合に、どのようにベイズ推論を頑健にすることができるか？
• RQ2 KL発散度に限らず、任意の統計的発散度を最小化できる、原理的で整合性のあるベイズ枠組みを構築できるか？
• RQ3 異なる発散度測度の選択が、予測精度およびパラメータ推定に与える実用的影響は何か？
• RQ4 本手法は、従来のKLベースの推論と比較して、実世界およびシミュレーションデータにおいてどのように性能を発揮するか？
• RQ5 この枠組みは、高次元または複雑な統計モデルにどのように拡張できるか？

主な発見

• 提案手法により、任意の統計的発散度を用いた原理的で整合性のあるベイズ推論が可能になり、KL発散度の制限を超えることができる。
• f-発散度や積分確率的メトリクスなどの代替的発散度は、特に重尾分布やモデル誤指定の状況下で、より頑健な推論をもたらす。
• シミュレーションおよび実データにおける実証的結果から、発散度の選択が推定精度および予測性能に顕著な影響を与えることが示された。
• 発散度指定の柔軟性を保ちつつ、理論的整合性とベイズ的原則との整合性を維持する枠組みが実現された。
• 特にデータ生成過程がモデル仮定から逸脱する状況下でも、標準的なKLベースの推論と比較して、本手法はより頑健であることが示された。
• 本手法はスケーラブルであり、複雑で高次元のモデルにも適用可能であるため、現代の統計的実践における広範な有用性を示唆している。