[論文レビュー] Improved information criteria for Bayesian model averaging in lattice field theory

Ethan T. Neil, Jacob W. Sitison|arXiv (Cornell University)|Aug 31, 2022

Statistical Methods and Bayesian Inference参考文献 74被引用数 5

ひとこと要約

本稿では、格子場理論におけるベイジアンモデル平均化のための改善された情報量基準（BAIC、BPIC、PPIC）を提案し、カルバック・ライバラー発散から導出することで、モデル重みの推定をより良くする。PPICはノイズが多いデータ下でも優れた理論的性質と性能を示す一方、BAICは信頼性が高くシンプルな代替手段を提供し、格子QCDデータのモデル平均解析における不確実性の評価を向上させる。

ABSTRACT

Bayesian model averaging is a practical method for dealing with uncertainty due to model specification. Use of this technique requires the estimation of model probability weights. In this work, we revisit the derivation of estimators for these model weights. Use of the Kullback-Leibler divergence as a starting point leads naturally to a number of alternative information criteria suitable for Bayesian model weight estimation. We explore three such criteria, known to the statistics literature before, in detail: a Bayesian analogue of the Akaike information criterion which we call the BAIC, the Bayesian predictive information criterion (BPIC), and the posterior predictive information criterion (PPIC). We compare the use of these information criteria in numerical analysis problems common in lattice field theory calculations. We find that the PPIC has the most appealing theoretical properties and can give the best performance in terms of model-averaging uncertainty, particularly in the presence of noisy data, while the BAIC is a simple and reliable alternative.

研究の動機と目的

• 関数形（例：無限の指数的塔）が不安定で切断が必要な格子場理論におけるモデル不確実性に対処する。
• カルバック・ライバラー発散から導出された情報量基準を用いて、ベイジアンモデル平均化におけるモデル重み推定を改善する。
• 数値的格子物理学問題において、3つの情報量基準（BAIC、BPIC、PPIC）の性能を評価する。
• PPICが他の代替手法と比較して理論的性質が優れており、ノイズに強く、BAICが信頼性の高いフォールバックとして機能することを示す。
• 格子QCDにおけるモデル平均化の実用的指針を提供し、均一な事前分布の採用を提唱するとともに、平均に不適切なデータを含めないよう注意を喚起する。

提案手法

• カルバック・ライバラー発散から情報量基準を導出し、プラグイン、事後平均化、事後予測の定式化を用いる。
• 最小二乗回帰に特化させることで、一般的な格子データフィッティング問題への適用を可能にする。
• ラプラス法を用いて周辺尤度を近似し、情報量基準の漸近的形を導出する。
• 多項式、指数関数的、格子QCD相関関数モデルを用いた数値的テストにより、モデル平均の性能を比較する。
• 合成データおよび実際の格子データ（例：核子の2点関数を含む）を用いて、モデル平均推定値のバイアスと不確実性を評価する。
• データサブセット選択およびモデル事前分布の影響を検証し、主観性を低減するため均一な事前分布の採用を提唱する。

実験結果

リサーチクエスチョン

• RQ1 異なる情報量基準（BAIC、BPIC、PPIC）は、格子場理論におけるベイジアンモデル平均化のモデル重み推定において、どのように性能を発揮するか？
• RQ2 どの情報量基準がノイズが多いデータ条件下でも最も望ましい理論的性質と頑健性を示すか？
• RQ3 PPICを用いたモデル平均化は、モデル選択や他のICに基づく平均化と比較して、不確実性をどの程度小さくするか？
• RQ4 モデル事前分布の選択は、格子応用におけるモデル平均推定値のバイアスと信頼性にどの程度影響を与えるか？
• RQ5 カルバック・ライバラー発散から導出された情報量基準は、格子シミュレーションにおけるモデルおよびデータの切断を扱う原理的かつ実用的な枠組みを提供できるか？

主な発見

• 事後予測情報量基準（PPIC）は、最も望ましい理論的性質を示し、特にノイズが多いデータ条件下でもモデル平均による不確実性推定において最も頑健な性能を発揮する。
• ベイジアンAIC（BAIC）は、有限標本下でも良好な性能を示し、計算コストが最小限であるシンプルで信頼性の高い代替手段である。
• PPICを用いたモデル平均化は、モデル差の保守的系統的誤差推定よりも全体的な不確実性が小さくなる。これは漸近的バイアスを導入しない。
• 主観性を最小限に抑えるために、均一なモデル事前分布の採用を推奨する。理論的制約やモデル族の重複がある場合には、モデル事前分布を調整する必要がある。
• データサブセット選択およびモデル切断は、ベイジアンモデル平均化フレームワークに自然に組み込まれ、PPICはこうした系統的要因に対しても耐性を示す。
• 本稿は、失敗したフィッティングや信号対雑音比が悪いなどの不適切なデータを平均に含めることは、使用する情報量基準に関わらず統計的推定を無効にする可能性があると警告している。