[論文レビュー] A framework for probabilistic inferences from imperfect models

Meng Li, David B. Dunson|arXiv (Cornell University)|Nov 4, 2016

Gaussian Processes and Bayesian Inference参考文献 27被引用数 3

ひとこと要約

この論文は、Kullback-Leibler発散を用いて非パラメトリックなベイズ基準との間の品質を測ることで、不完全な統計モデルの評価のための新しい枠組み、絶対的モデル確率を導入する。このD確率は、従来の事後モデル確率の代替として、事前分布に敏感ではなく、モデルの複雑さを自動的にペナルティ化する強固な手法を提供し、正確に正しいモデルがない状況でも信頼性のあるモデル比較を可能にする。

ABSTRACT

The Bayesian paradigm provides a natural way to deal with uncertainty in model selection through assigning each model in a list of models under consideration a posterior probability. Unfortunately, this framework relies on the assumption that one of the models in the list is the true model. When this assumption is violated and all the models are imperfect, interpretation of posterior model probabilities is unclear. We propose a new concept of {\em absolute} model probabilities, which measure the quality of imperfect models. This concept leads to divergence-based estimates ({\em D-probabilities}) relying on evaluating parametric models relative to a nonparametric Bayesian reference using Kullback-Leibler divergence. While providing good-of-fit assessment, D-probabilities avoid some of the pitfalls of usual posterior model probabilities including large sensitivity to prior choice. In an application to linear model selection against a Gaussian process reference, we provide simple analytic forms for routine implementation and show that D-probabilities automatically penalize model complexity. Some asymptotic properties of this framework are described. Absolute model probabilities have several interesting probabilistic interpretations, and can potentially be applied in broad problems. The framework is illustrated through simulations and applications.

研究の動機と目的

• すべてのモデルが不完全である場合のベイズモデル選択の限界に対処し、モデル集合の中に真のモデルが存在すると仮定する前提を疑問視すること。
• モデルの真偽とは独立してモデルの品質を評価する整合的な枠組みを構築し、フィットと複雑さに焦点を当てる。
• 事前分布の選択に大きく依存しない、事後モデル確率の代替を提供すること。
• 標準的なベイズモデル平均化がモデルの不適合性のため失敗する状況において、実用的なモデル比較を可能にすること。

提案手法

• 非パラメトリックなベイズ基準分布に対する相対的なモデル品質の指標として、絶対的モデル確率を提案する。
• Kullback-Leibler発散を用いて、パラメトリックモデルと非パラメトリック基準との乖離を定量化する。
• 発散に基づく推定値としてのD確率を導出し、基準分布との適合度を反映させる。発散が小さいほど品質が高いことを示す。
• 線形モデルとガウス過程基準に対してこの枠組みを適用し、日常的な使用を想定した解析的表現を導出する。
• 発散測度を通じてモデルの複雑さを自動的にペナルティ化し、明示的な事前分布の調整を必要としない。
• 正則性条件下でD確率枠組みの漸近的性質を確立する。

実験結果

リサーチクエスチョン

• RQ1 すべてのモデルが不完全な場合に、どのようにモデルの品質を意味的に評価できるか？
• RQ2 事前分布の選択に敏感でない、事後モデル確率の原理的代替は何か？
• RQ3 尤度の周辺化に依存せずに、発散に基づく測度が自動的にモデルの複雑さをペナルティ化できるか？
• RQ4 モデルの不適合性下でD確率はどのように漸近的に振る舞うか？
• RQ5 絶対的モデル確率にはどのような確率的解釈と実用的意味があるか？

主な発見

• D確率は、真のモデルがない場合でも解釈可能な、整合的で事前分布に敏感ではないモデル品質の指標を提供する。
• Kullback-Leibler発散を通じて、モデルの複雑さが自動的にペナルティ化され、追加の正則化の必要がない。
• 線形モデルとガウス過程基準の文脈で、D確率の解析的表現が導出され、容易な実装が可能になる。
• D確率は、事後モデル確率の病理的特性（たとえば、事前分布の選択に極めて敏感な点）を回避する。
• この枠組みは望ましい漸近的性質を示し、正則性条件下で一貫したモデルランク付けを支持する。
• 絶対的モデル確率は、モデル適合の新しい確率的解釈を提供し、モデルの真偽を仮定する必要のないベイズ推論の拡張を可能にする。