[論文レビュー] Diagnosing model misspecification and performing generalized Bayes' updates via probabilistic classifiers

Owen Thomas, Jukka Corander|arXiv (Cornell University)|Dec 12, 2019

Gaussian Processes and Bayesian Inference参考文献 16被引用数 8

ひとこと要約

本稿では、ベイズ推論におけるモデルの不適合を診断し、尤度温度調整を介して一般化ベイズ更新をガイドするため、確率的分類器を用いる手法を提案する。統計モデル下でのシミュレートデータと観測データを区別する分類器を訓練することで、尤度比の対数を推定し、その期待値がモデルと真のデータ生成過程との間の負のカルバック・ライブララー情報量近似に相当する。これにより、真のモデルが不明な状況下でも、モデル適合の強化と最適な温度調整の選定が可能になる。

ABSTRACT

Model misspecification is a long-standing enigma of the Bayesian inference framework as posteriors tend to get overly concentrated on ill-informed parameter values towards the large sample limit. Tempering of the likelihood has been established as a safer way to do updates from prior to posterior in the presence of model misspecification. At one extreme tempering can ignore the data altogether and at the other extreme it provides the standard Bayes' update when no misspecification is assumed to be present. However, it is an open issue how to best recognize misspecification and choose a suitable level of tempering without access to the true generating model. Here we show how probabilistic classifiers can be employed to resolve this issue. By training a probabilistic classifier to discriminate between simulated and observed data provides an estimate of the ratio between the model likelihood and the likelihood of the data under the unobserved true generative process, within the discriminatory abilities of the classifier. The expectation of the logarithm of a ratio with respect to the data generating process gives an estimation of the negative Kullback-Leibler divergence between the statistical generative model and the true generative distribution. Using a set of canonical examples we show that this divergence provides a useful misspecification diagnostic, a model comparison tool, and a method to inform a generalised Bayesian update in the presence of misspecification for likelihood-based models.

研究の動機と目的

• 大標本極限において、事後分布が不適切なパラメータ値に集中する問題に対処すること。
• 真のデータ生成モデルが不明な状況下で、一般化ベイズ更新における最適な温度調整パラメータ t の選定を可能とすること。
• 真のモデルへのアクセスや明示的な尤度計算を必要としない、モデル仕様の診断ツールを提供すること。
• 分類器ベースの密度比推定をベイズ推論に統合し、不適合下でも高いロバスト性を実現すること。

提案手法

• 観測データと、さまざまなパラメータ値における統計モデルからのシミュレートデータを区別する確率的分類器を訓練する。
• 分類器のオッズ比を用いて、モデル尤度と真のデータ生成尤度の比を推定し、密度比推定を可能にする。
• 真のデータ生成過程における期待対数オッズ比を計算し、モデルと真の分布との間の負のカルバック・ライブララー情報量の近似とする。
• 推定されたKL情報量をモデル不適合の診断に用い、値が大きいほど乖離度が大きいことを示す。
• 推定された対数比に対して片側t検定を適用し、モデルが有意に不適合かどうかを評価する（p値 < 0.05 で不適合と判断）。
• 診断結果を基に、一般化事後分布更新における温度パラメータ t の選定を最適化し、不適合モデルへの過信を回避する。

実験結果

リサーチクエスチョン

• RQ1 真のデータ生成モデルが不明な状況下でも、確率的分類器がモデル不適合を信頼性高く検出できるか？
• RQ2 分類器ベースの対数尤度比推定値は、真のモデルと真の分布との間の負のカルバック・ライブララー情報量をどれほど正確に近似できるか？
• RQ3 推定された情報量を用いて、一般化ベイズ更新における最適な温度パラメータ t の選定を可能とできるか？
• RQ4 特に真のモデルがモデルクラスに含まれない場合に、分類器のキャリブレーションやモデルの複雑さに対して、この手法はどれほど頑健か？

主な発見

• 分類器ベースの期待対数オッズ比推定値は、統計モデルと真のデータ生成過程との間の負のカルバック・ライブララー情報量をよく近似しており、妥当な不適合診断ツールを提供する。
• 推定された対数比に対する片側t検定により、形式的な仮説検定が可能となり、p値が0.05未満であればモデルの不適合が有意であると判断できる。
• 正規分布、ポアソン分布、線形回帰といった代表的なモデルすべてにおいて、真の分布が想定モデルと異なる場合（例：ラプラス分布 vs. 正規分布、ネガティブバイノミアル分布 vs. ポアソン分布）に、本手法は不適合を正しく検出できた。
• 本手法により、事前情報とデータ証拠のバランスを取る最適な温度調整レベル t を特定可能となり、不適合モデルに対する過信を軽減できる。
• 人間の直感が失敗するような複雑な識別タスクにおいても、本手法は良好な数値的安定性を示し、仮説検定においてKL情報量の低減推定は保守的である。
• 補足図表は、複数のモデルタイプと温度調整レベルにおいて、真の対数比と分類器による推定値との間で強い一致を確認している。