[論文レビュー] Some models are useful, but how do we know which ones? Towards a unified Bayesian model taxonomy

Paul‐Christian Bürkner, Maximilian Scholz+1 more|arXiv (Cornell University)|Sep 6, 2022

Bayesian Modeling and Causal Inference被引用数 8

ひとこと要約

本稿は、ベイジアンモデルが何を構成するかを明確化するため、結合分布（P）、事後分布近似器（A）、学習データ（D）の組み合わせとして分類するPADモデル分類法を導入する。さらに、因果的一致性、パラメータ回収性、予測性能など10のユーティリティ次元を提唱し、推論の目的に応じたトレードオフを支援するユーティリティツリーを用いて、モデルの質を包括的に評価する。これにより、ベイジアンモデル構築のための原則的フレームワークが提供される。

ABSTRACT

Probabilistic (Bayesian) modeling has experienced a surge of applications in almost all quantitative sciences and industrial areas. This development is driven by a combination of several factors, including better probabilistic estimation algorithms, flexible software, increased computing power, and a growing awareness of the benefits of probabilistic learning. However, a principled Bayesian model building workflow is far from complete and many challenges remain. To aid future research and applications of a principled Bayesian workflow, we ask and provide answers for what we perceive as two fundamental questions of Bayesian modeling, namely (a) "What actually is a Bayesian model?" and (b) "What makes a good Bayesian model?". As an answer to the first question, we propose the PAD model taxonomy that defines four basic kinds of Bayesian models, each representing some combination of the assumed joint distribution of all (known or unknown) variables (P), a posterior approximator (A), and training data (D). As an answer to the second question, we propose ten utility dimensions according to which we can evaluate Bayesian models holistically, namely, (1) causal consistency, (2) parameter recoverability, (3) predictive performance, (4) fairness, (5) structural faithfulness, (6) parsimony, (7) interpretability, (8) convergence, (9) estimation speed, and (10) robustness. Further, we propose two example utility decision trees that describe hierarchies and trade-offs between utilities depending on the inferential goals that drive model building and testing.

研究の動機と目的

• 実際の応用において曖昧に定義されがちなベイジアンモデルの本質を明確化すること。
• 適合度や予測性能といった伝統的な基準を超えて、ベイジアンモデルを統一的に評価するフレームワークの欠如に対処すること。
• コアな評価次元とその階層を特定することで、原則的で一貫したベイジアンモデル構築ワークフローを確立すること。
• 確率的モデリングを用いた多様な科学的・産業的分野に適用可能な分類法と評価フレームワークを提供すること。
• 推論の目的に応じた構造的ユーティリティ階層とトレードオフ分析を通じて、研究者がモデルを選択するのを支援すること。

提案手法

• ベイジアンモデルをP（結合分布）、A（事後分布近似器）、D（学習データ）の組み合わせとして分類するPADモデル分類法を提唱し、4つの明確に区別できるモデルタイプを特定する。
• 10のユーティリティ次元（因果的一致性、パラメータ回収性、予測性能、公平性、構造的忠実性、単純性、解釈可能性、収束性、推定速度、ロバストネス）を導入し、ベイジアンモデルの評価に用いる。
• ユーティリティ間の階層とトレードオフを記述するユーティリティツリーを構築し、観察可能な推論目的と潜在的な推論目的の違いを明確にする。
• シミュレーションスタディと理論的分析を用いて、特に暗黙の尤度関数やアンモタイズド近似器を伴う複雑なモデルにおけるパラメータ回収性と収束性を評価する。
• MCMC、最適化、SMC、ABC、アンモタイズド手法など複数のアルゴリズムにわたる収束診断を適用し、事後分布近似の信頼性を評価する。
• 真のパラメータが不明な状況では、因果的一致性のあるモデルにおいては予測性能をパラメータ回収性の代理指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 単純な尤度関数と事前分布を超えて、現代の複雑な応用において、ベイジアンモデルとは何かを定義する基準は何か？
• RQ2 予測精度を超えて、ベイジアンモデルの質を体系的かつ包括的に評価する方法は何か？
• RQ3 異なるモデルユーティリティ間の主なトレードオフは何か？ また、それらは推論の目的によってどのように変化するか？
• RQ4 真のパラメータが入手できない状況において、予測性能はパラメータ回収性を信頼できる代理指標として機能するか？
• RQ5 因果的一致性と構造的忠実性を優先するため、現実世界の応用においてモデル評価をどのように構造化すべきか？

主な発見

• PADモデル分類法は、P（結合分布）、A（事後分布近似器）、D（学習データ）の組み合わせとしてのベイジアンモデルを明確に分類し、モデル定義の曖昧さを解消する。
• 因果的一致性は、特に潜在的な推論目的において最優先度の高いユーティリティであり、予測性能が高くても誤った推論を防ぐために不可欠である。
• 真のパラメータが入手できない場合には、シミュレーションまたは数学的分析によるパラメータ回収性の評価が最良であり、これは中心的だが間接的に測定可能なユーティリティである。
• 予測性能がパラメータ回収性の有効な代理指標となるのは、因果的一致性のあるモデル内でのみ可能であり、これによりモデル改善が真のパラメータ推定を反映しているかどうかを保証する。
• 推定速度と収束診断は、アルゴリズムによって顕著に異なるが、アンモタイズド近似器は推論を高速化する反面、収束モニタリングの複雑さが増す。
• 単純性と構造的忠実性は、パラメータ回収性の直接的評価が困難な場合に、モデルの複雑さと解釈可能性のバランスを取る支援的ユーティリティとして機能する。