[論文レビュー] Kullback-Leibler Divergence for Bayesian Nonparametric Model Checking

Luai Al‐Labadi, Viskakh Patel+2 more|arXiv (Cornell University)|Mar 2, 2019

Bayesian Methods and Mixture Models参考文献 32被引用数 4

ひとこと要約

本稿では、ディリクレ過程が離散測度を生成する場合に生じる長年の問題を解決する、Kullback-Leibler（KL）発散とディリクレ過程を組み合わせた、ベイズ非パラメトリックなモデルチェック手法を提案する。相対的信念比を用いて、パラメトリックモデルの裏付けの有無を評価する。この手法は、事前分布と事後分布におけるKL発散の集中度を比較することで、モデルパラメータの事前分布や閉形式解が不要な状況でも効果的なモデルチェックを可能にし、さまざまなデータタイプや分布において優れた性能を示す。

ABSTRACT

Bayesian nonparametric statistics is an area of considerable research interest. While recently there has been an extensive concentration in developing Bayesian nonparametric procedures for model checking, the use of the Dirichlet process, in its simplest form, along with the Kullback-Leibler divergence is still an open problem. This is mainly attributed to the discreteness property of the Dirichlet process and that the Kullback-Leibler divergence between any discrete distribution and any continuous distribution is infinity. The approach proposed in this paper, which is based on incorporating the Dirichlet process, the Kullback-Leibler divergence and the relative belief ratio, is considered the first concrete solution to this issue. Applying the approach is simple and does not require obtaining a closed form of the relative belief ratio. A Monte Carlo study and real data examples show that the developed approach exhibits excellent performance.

研究の動機と目的

• ディリクレ過程が離散測度を生成する場合に、Kullback-Leibler（KL）発散をベイズ非パラメトリックなモデルチェックに適用する際の根本的課題を解決すること。
• モデルパラメータの事前分布が不要な、実装可能な手法を開発し、離散的および連続的分布間のKL発散における無限大問題を回避すること。
• モデルパラメータの事前分布を必要とせず、相対的信念比を用いてパラメトリックモデルの裏付けの強さを直接測定すること。
• モンテカルロシミュレーションおよび多様な分布（正規分布、Gumbel分布、重い尾を持つ分布など）における実データ例を通じて、本手法の頑健性と正確性を実証すること。
• 複雑な事前分布や閉形式解に依存しない、汎用的で使いやすいモデルチェック手法を提供すること。

提案手法

• 真の母集団分布に対する非情報的事前分布としてディリクレ過程を用い、柔軟で非パラメトリックなモデリングを可能にする。
• 真の分布と仮説的なパラメトリックモデルとの間のKullback-Leibler発散を発散尺度として採用する。
• 事前分布と事後分布におけるKL発散の集中度を比較することで、モデルの裏付けを評価する。
• 相対的信念比（RB）を用いて、データがモデルを支持するか反対するかの証拠を定量化し、RB > 1 であればモデルを支持する証拠とみなす。
• 解析的表現が不要なため、モンテカルロサンプリングを用いてKL発散の事後分布を推定し、相対的信念比を計算する。
• 1に近い値は強い証拠、0に近い値はモデルに対する強い反証を示す、校正されたスケールで証拠の強さを測定する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ過程が離散測度を生成する場合に、Kullback-Leibler発散をベイズ非パラメトリックなモデルチェックに効果的に適用できるか。
• RQ2 離散的および連続的分布間のKL発散における無限大問題を、整合的なベイズ枠組み内でどのように解決できるか。
• RQ3 モデルパラメータの事前分布を必要とせず、相対的信念比がパラメトリックモデルの裏付けの信頼性と解釈可能性を提供できるか。
• RQ4 提案手法が、正規分布、Gumbel分布、t分布、Cauchy分布など、多様なデータタイプにおいても高い性能を維持するか。
• RQ5 Kevlar圧力容器の寿命データのような実世界のデータにおいて、本手法がモデルの不適合を検出できるか（過去の研究で非正規性が示唆されている）。

主な発見

• 真の分布が標準正規分布（N(0,1)）の場合、相対的信念比（RB）はa=1のとき20となり、モデルを支持する強い証拠を示す。a=5のときも高い値（13.2）を維持する。
• 平均10、分散1の正規分布の場合、RBはa=1のときも20のまま高く維持され、位置シフトに対しても本手法の頑健性が確認される。
• 真の分布が二つの正規分布の混合（0.5N(-2,1) + 0.5N(2,1)）の場合、a=1のときRBは0.3878に低下し、a≥5では0にまで低下する。これはモデルの不適合を正しく示している。
• 自由度0.5のt分布（重い尾を持つ分布）の場合、a≥1のすべての値でRBは0となり、正規モデルが正しく棄却される。
• Gumbelモデルの例では、a=1のときRBは20のまま維持され、すべてのa値で強度が1に保たれる。Gumbelモデルを支持する強い証拠が得られる。
• Kevlar圧力容器のデータでは、RBは1未満（a=5のとき1.81）に低下し、強度は0.7009に減少する。これは正規性に対する証拠が弱く、特に事前分布が集中している場合に顕著に現れる。