[論文レビュー] Bayesian additive regression trees for probabilistic programming

Miriana Quiroga, Pablo Garay+3 more|arXiv (Cornell University)|Jun 8, 2022

Bayesian Modeling and Causal Inference被引用数 7

ひとこと要約

この論文は、PyMCフレームワーク内にベイジアン加法回帰木（BART）を最初のクラスのプリミティブとして統合する確率的プログラミング拡張であるPyMC-BARTを紹介する。BARTを他の確率的モデルと組み合わせて使用可能にするとともに、新規のPGBARTサンプラーを用いてネイティブにMCMC推論を可能にすることで、ユーザーは最小限のチューニングで柔軟で不確実性を考慮したモデルを構築可能であり、PyMCのエコシステムにおける推論、診断、モデル比較の全機能と完全に互換性を持つ。

ABSTRACT

Bayesian additive regression trees (BART) is a non-parametric method to approximate functions. It is a black-box method based on the sum of many trees where priors are used to regularize inference, mainly by restricting trees' learning capacity so that no individual tree is able to explain the data, but rather the sum of trees. We discuss BART in the context of probabilistic programming languages (PPL), i.e., we present BART as a primitive that can be used as a component of a probabilistic model rather than as a standalone model. Specifically, we introduce the Python library PyMC-BART, which works by extending PyMC, a library for probabilistic programming. We showcase a few examples of models that can be built using PyMC-BART, discuss recommendations for the selection of hyperparameters, and finally, we close with limitations of our implementation and future directions for improvement.

研究の動機と目的

• BARTを単体の非パラメトリックモデルとしての利用と、より広範な確率的プログラミングフレームワーク内でのモジュラー部品としての利用の間のギャップを埋めること。
• PyMCエコシステム内での任意の確率的モデルにBARTをシームレスに統合し、BARTを最初のクラスの確率的変数として扱えるようにすること。
• BARTコンポーネントのための効率的なMCMCサンプリングを可能にするスケーラブルでモジュラーな推論メカニズム（PGBART）を提供すること。同時に、NUTSなどの他のPyMCサンプラーと互換性を維持すること。
• 変数選択、事後分布の解釈、収束診断といった高度なモデリングタスクを、PyMC-BARTパイプラインに組み込まれた専用ツールを通じて体系的かつ効果的にサポートすること。
• 将来的な拡張性を確立し、固定モデル実装にとどまらず、合成可能で再利用可能なコンポーネントへとBARTを進化させる基盤を提供すること。

提案手法

• 本研究のコアとなる手法は、PyMCに新しいBART確率的変数を導入し、標準的なPyMC構文を用いてBARTをより大きな確率的モデルの一部として定義可能にするものである。
• 本手法では、逐次モンテカルロ（SMC）の原則に従い、木の集合のうち個々の木を1回の反復で1つの部分集合ごとに再サンプリングする、新規のPGBART（パーティクルギブスBART）サンプラーを実装している。
• PGBARTサンプラーは、可能な木構造の空間を探索するためのパーティクル木を用い、正規化された対数尤度重みに基づいた再サンプリングにより、尤度の高い木を優先する。
• 木の成長は、パラメータα=0.95およびβ=2の深さ依存事前分布に従い、チューニング中に更新される動的かつ適応的なカテゴリカル分布を用いて分割変数を選択する。
• リーフノードの値には、現在の予測平均を中心とする正規事前分布を割り当て、残差標準偏差に比例した分散を用い、データ型（例：二項分布 vs. 連続変数）に応じて調整する。
• 変数重要度は、分割に使われた変数の使用回数を動的カウントするメカニズムにより推定され、分割確率にスパarsity誘導型ディリクレ事前分布を適用することで解釈性が向上する。

実験結果

リサーチクエスチョン

• RQ1 BARTをPyMCのような確率的プログラミング言語内での最初のクラスのコンponentとして効果的に統合するにはどうすればよいか？（単体モデルとしてではなく）
• RQ2 モジュラーな確率的プログラミングフレームワーク内でのBARTのための効率的かつスケーラブルな推論を可能にするサンプリング戦略は何か？
• RQ3 合成可能なBARTベースのモデリングパイプラインにおいて、変数重要度とモデルの解釈性を体系的にサポートするにはどうすればよいか？
• RQ4 特に木の数といったハイパーパrameterの選択が、実際のモデル性能と収束性に最も顕著に影響を与えるか？
• RQ5 BARTのPyMCへの統合が、既存のモデル診断、事後分布チェック、モデル比較ツールとの互換性をどのように維持できるか？

主な発見

• PyMC-BARTは、既存のワークフローを変更することなく、標準的なPyMC構文を用いてBARTを任意の確率的モデルのコンポーネントとして組み込むことを可能にする。
• PGBARTサンプラーは、1回の反復で全木の10％程度の木を更新することで、計算コストを削減しながらも収束性を維持する、効率的な事後分布探索を実現している。
• 変数重要度は、分割に使われた変数の使用頻度を動的カウントするメカニズムにより推定され、スパarsity誘導型事前分布の適用により解釈性が向上している。
• ArviZおよびPyMCの診断スタックと完全に互換性を保ち、収束の評価、モデルの比較、事後分布の可視化を新しいツールを学ぶことなく行える。
• 事後予測区間による不確実性の定量化が実装されており、非パラメトリックベイズモデリングの強みをBARTと一貫して保っている。
• 実証的結果から、PGBARTサンプラーは二項分布や連続変数を含む多様なデータ型において、安定した収束性と正確な事後推定を達成していることが示された。