[論文レビュー] Model Evidence with Fast Tree Based Quadrature

Thomas H. Foster, Chon Lok Lei+3 more|arXiv (Cornell University)|May 22, 2020

Gaussian Processes and Bayesian Inference参考文献 6被引用数 5

ひとこと要約

本稿では、統合領域をコンテナに分割する回帰木を用いてサンプリングと統合を分離することで、高次元統合のための新規手法であるTree Quadrature (TQ) を提案する。TQは被積分関数の代理モデルを構築し、各コンテナを独立して任意の方法（例：ベイジアンモンテカルロ）で統合し、積分精度を最大化するように木構造を最適化する。4次元以上において、モンテカルロ法やVegas法よりも優れた精度を達成する。

ABSTRACT

High dimensional integration is essential to many areas of science, ranging from particle physics to Bayesian inference. Approximating these integrals is hard, due in part to the difficulty of locating and sampling from regions of the integration domain that make significant contributions to the overall integral. Here, we present a new algorithm called Tree Quadrature (TQ) that separates this sampling problem from the problem of using those samples to produce an approximation of the integral. TQ places no qualifications on how the samples provided to it are obtained, allowing it to use state-of-the-art sampling algorithms that are largely ignored by existing integration algorithms. Given a set of samples, TQ constructs a surrogate model of the integrand in the form of a regression tree, with a structure optimised to maximise integral precision. The tree divides the integration domain into smaller containers, which are individually integrated and aggregated to estimate the overall integral. Any method can be used to integrate each individual container, so existing integration methods, like Bayesian Monte Carlo, can be combined with TQ to boost their performance. On a set of benchmark problems, we show that TQ provides accurate approximations to integrals in up to 15 dimensions; and in dimensions 4 and above, it outperforms simple Monte Carlo and the popular Vegas method.

研究の動機と目的

• ベイズ推論や物理学における高次元統合の正確な実行を課題とする。標準的手法は次元の呪いのため失敗する。
• サンプリングプロセスと統合を分離することで、TQがサンプリング手法の設計に縛られることなく、最先端のサンプラーを活用できるようにする。
• 任意のサンプリング手法と任意のコンテナごとの統合規則と併用可能なスケーラブルで高速かつ高精度な統合フレームワークを開発する。
• コンテナの寄与度とその削除に対する感度を分析することで、積分推定値の頑健性と信頼性を評価する診断手法を提供する。

提案手法

• TQはD次元の統合領域Ωを、互いに素なコンテナに分割する回帰木を用いる。分割は積分精度を最大化するように最適化される。
• 各コンテナは、ベイジアンモンテカルロなどの任意の選択された統合手法を用いて独立に統合され、既存技術とのハイブリダイゼーションを可能にする。
• 木構造は次元に比例する線形時間で構築され、高次元問題へのスケーラビリティを実現する。
• 関数評価点は、MCMC、ネストドサブリング、またはアクティブサブリングなどの任意の分布から得られるが、コア統合メカニズムに変更を加える必要はない。
• コンテナの削除と累積積分の追跡により診断が可能になり、推定値の安定性と感度を可視化できる。
• 被積分関数からの近似サンプリングが可能になり、コンテナの積分寄与度に比例する確率でコンテナを選択できる。

実験結果

リサーチクエスチョン

• RQ1 木ベースの代理モデルにより、サンプリングと統合を分離することで、高次元統合の精度が向上するか？
• RQ2 TQは、モンテカルロ法やVegas法といった標準的手法と比較して、高次元設定下でどのように性能を発揮するか？
• RQ3 TQは、MCMC やネストドサブリングなどの高度なサンプリング戦略を、統合エンジンを変更せずに効果的に活用できるか？
• RQ4 特定のコンテナの含む・除外するという操作が、TQの積分推定値にどの程度影響を及げるか？
• RQ5 コンテナの寄与度に基づく診断ツールは、積分推定値の不安定性や不正確さを信頼性を持って示せるか？

主な発見

• TQは15次元までに及ぶ高次元においても、従来の数値積分法の典型的な限界を超えてスケーラブルに積分を正確に近似できる。
• 4次元以上では、単純なモンテカルロ法やVegasアルゴリズムと比較して、精度と収束速度の両面でTQが優れている。
• MCMC やネストドサブリングといった高度なサンプラーからのサンプルを用いても、TQの性能は頑健であり、これらは通常、標準的な統合フレームワークと互換性がない。
• コンテナの削除に対する積分推定値のプロットでは、TQが信頼できる場合、安定した挙動（緑線）を示すが、不安定または発散する傾向（赤・オレンジ線）は特定領域への感度を示している。
• コンテナサイズごとの累積積分プロットでは、特定のコンテナが顕著に寄与している場合に急激なジャンプが観察され、代理モデルの潜在的な不正確さや不連続性を浮き彫りにする。
• フレームワークにより、コンテナの積分寄与度に重みを付けることで、被積分関数からの近似サンプリングが可能になり、事後分布の探索やモデル妥当性の検証が促進される。