[論文レビュー] Efficient Metropolis-Hastings Proposal Mechanisms for Bayesian Regression Tree Models

Matthew T. Pratola|arXiv (Cornell University)|Dec 6, 2013

Statistical Methods and Inference参考文献 5被引用数 4

ひとこと要約

本論文は、MCMC混合と事後分布探索の改善を目的として、ベイジアン回帰木モデルにおける2つの新しいメトロポリス・ハスティングス提案手法—ルール摂動と木の回転—を導入する。局所的な構造的変更を保ちつつ、モデル空間の異なる領域を効率的に走査可能にすることで、特に非線形回帰問題において、BARTにおけるサンプリング効率と不確実性の定量化を顕著に向上させる。

ABSTRACT

Bayesian regression trees are flexible non-parametric models that are well suited to many modern statistical regression problems. Many such tree models have been proposed, from the simple single- tree model to more complex tree ensembles. Their non-parametric formulation allows for effective and efficient modeling of datasets exhibiting complex non-linear relationships between the model pre- dictors and observations. However, the mixing behavior of the Markov Chain Monte Carlo (MCMC) sampler is sometimes poor. This is because the proposals in the sampler are typically local alterations of the tree structure, such as the birth/death of leaf nodes, which does not allow for efficient traversal of the model space. This poor mixing can lead to inferential problems, such as under-representing uncertainty. In this paper, we develop novel proposal mechanisms for efficient sampling. The first is a rule perturbation proposal while the second we call tree rotation. The perturbation proposal can be seen as an efficient variation of the change proposal found in existing literature. The novel tree rotation proposal is simple to implement as it only requires local changes to the regression tree structure, yet it efficiently traverses disparate regions of the model space along contours of equal probability. When combined with the classical birth/death proposal, the resulting MCMC sampler exhibits good acceptance rates and properly represents model uncertainty in the posterior samples. We implement this sampling algorithm in the Bayesian Additive Regression Tree (BART) model and demonstrate its effectiveness on a prediction problem from computer experiments and a test function where structural tree variability is needed to fully explore the posterior.

研究の動機と目的

• ベイジアン回帰木のMCMCサンプラーにおける混合度の低さを是正し、効果的な事後分布探索を可能にする。
• 局所的な生成/消滅移動に依存せず、モデル空間の異なる領域を効率的に走査できる提案手法の開発。
• 受容率の向上と、事後サンプルにおけるモデル不確実性の適切な表現を実現する。
• 複雑な非線形回帰設定におけるベイジアン加法的回帰木（BART）のスケーラビリティとロバストネスを向上させる。
• 計算的に効率的かつ効果的な、既存の提案手法の実装可能で実用的な代替手法の提供。

提案手法

• 古典的な変更提案の効率的変種としてのルール摂動手法を提案し、分割ルールを変更することで提案効率を向上させる。
• 木の回転—新たな局所的構造的変換を導入し、木の有効性を保ちつつ、モデル空間の遠く離れた領域を探索可能にする。
• 新提案手法と標準的な生成/消滅移動を組み合わせ、詳細バランスを維持するとともに混合度を向上させるハイブリッドMCMCサンプラーを構築する。
• BARTフレームワーク内に実装し、既存のベイジアン非パラメトリック回帰パイプラインとの互換性を確保する。
• 局所的な木の変更を用いてモデル空間におけるグローバルな移動を可能にし、複雑な再パラメータ化やグローバルな木の再書き換えの必要性を回避する。
• メトロポリス・ハスティングスの受容率を用いて、マルコフ連鎖が正しい事後分布に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 ルール摂動と木の回転提案手法は、ベイジアン回帰木におけるMCMC混合度を顕著に改善できるか？
• RQ2 これらの新提案手法は、標準的な生成/消滅移動と比較して、モデル空間の探索効率が向上するか？
• RQ3 新提案手法と古典的手法の組み合わせにより、事後サンプルにおけるモデル不確実性の表現が改善されるか？
• RQ4 提案手法は高次元または非線形回帰問題においても効果を発揮するか？
• RQ5 木の回転手法は、モデル空間の異なる領域を走査する上で計算的に効率的かつ有効であるか？

主な発見

• ルール摂動提案手法は、既存の変更提案手法を改善し、モデル空間のより効果的な局所的探索を可能にする。
• 木の回転は、最小限の局所的構造的変更を通じて、モデル空間の遠く離れた領域を効率的に走査可能にし、混合度を向上させる。
• 統合されたサンプラーは高い受容率を達成し、事後サンプルにおけるモデル不確実性を効果的に捉える。
• コンピュータ実験およびテスト関数における実証的結果から、モデル空間の完全な探索には構造的多様性が不可欠であり、新提案手法がこれを実現することが示された。
• 複雑な回帰問題において、有効サンプルサイズと収束速度の観点で、標準的な生成/消滅移動に比べて提案手法が顕著に優れている。
• 本手法はロバストでスケーラブルであり、高次元または非線形な設定でも強力な性能を示した。