[論文レビュー] Efficient Bayesian Decision Tree Algorithm

Giuseppe Nuti, Lluís Antoni Jiménez Rugama+1 more|arXiv (Cornell University)|Jan 10, 2019

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

本稿では、マルコフ連鎖モンテカルロ法（MCMC）と剪定を回避する新しいベイジアン意思決定木アルゴリズムを提案する。そのために、数値例において大部分の情報を捉えることのできる1つの木、つまりグリーディ・モーダル木（GMT）に注目する。この手法は、ランダムフォレストと同等の性能を達成しながら、回帰および分類タスクにおいても確率的解釈可能性を維持する。

ABSTRACT

Bayesian Decision Trees are known for their probabilistic interpretability. However, their construction can sometimes be costly. In this article we present a general Bayesian Decision Tree algorithm applicable to both regression and classification problems. The algorithm does not apply Markov Chain Monte Carlo and does not require a pruning step. While it is possible to construct a weighted probability tree space we find that one particular tree, the greedy-modal tree (GMT), explains most of the information contained in the numerical examples. This approach seems to perform similarly to Random Forests.

研究の動機と目的

• 回帰および分類タスクに適した、計算的に効率的なベイジアン意思決定木アルゴリズムの開発。
• ベイジアン木の構築において、マルコフ連鎖モンテカルロ（MCMC）サンプリングの必要性を排除すること。
• 大部分の情報を捉える1つの代表木を特定することで、明示的な剪定ステップを回避すること。
• 1つの木、すなわちグリーディ・モーダル木（GMT）が、全木空間を効果的に表現できるかどうかを評価すること。
• 提案手法の性能を、ランダムフォレストのような既存のアンサンブル手法と比較すること。

提案手法

• アルゴリズムは、マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いずにベイジアン意思決定木を構築する。
• 重み付き確率木空間において、グリーディ・モーダル木（GMT）を支配的となる木として特定する。
• 事後確率を最大化するグリーディな最適化プロセスによってGMTを導出する。
• MCMCと剪定の両方を回避するため、木空間内の大部分の情報を要約するGMTに依存する。
• 確率的フレームワークを用いて、回帰および分類問題にこのアプローチを適用する。
• 木空間は重み付けによって探索されるが、全サンプリングではなく、最も確率の高い1つの木（GMT）に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 MCMCサンプリングを用いずに、ベイジアン意思決定木を計算的に効率的に構築できるか？
• RQ2 1つの木、すなわちグリーディ・モーダル木（GMT）は、ベイジアン意思決定木における全木空間を適切に表現できるか？
• RQ3 GMTに基づく手法の性能は、回帰および分類タスクにおいてランダムフォレストと比べてどうか？
• RQ4 最も確率の高い木に注目することで、ベイジアン意思決定木における剪定の必要性を排除できるか？
• RQ5 GMTは、重み付き全木空間の情報含量をどの程度まで捉えているか？

主な発見

• グリーディ・モーダル木（GMT）は、数値例において重み付き確率木空間に含まれる大部分の情報を捉えている。
• MCMCや剪定を用いずに、ランダムフォレストと同等の性能を達成する。
• MCMCおよび剪定ステップの排除により、計算が著しく効率的である。
• GMTは木空間の十分な要約であり、複雑性を低減しながらも予測精度を維持している。
• 確率的解釈可能性を維持しており、これは標準的決定木とは対照的な主な利点である。
• 回帰および分類問題の両方に対して、一貫した性能を示す。