[論文レビュー] A Bayesian Decision Tree Algorithm

Giuseppe Nuti, Lluís Antoni Jiménez Rugama+1 more|arXiv (Cornell University)|Jan 10, 2019

Bayesian Modeling and Causal Inference参考文献 12被引用数 7

ひとこと要約

本稿では、マルコフ連鎖モンテカルロ法やプルーニングを用いず、1本の浅い木を用いてランダムフォレスト並みの精度を達成するベイジアン意思決定木アルゴリズムであるグリーディ・モーダル・ツリー（GMT）を提案する。各ステップで最も確率の高い分割を選択することで、木の生成を確率的にモデル化し、高い解釈可能性と分類タスクにおける競争力のある性能を実現する。

ABSTRACT

Bayesian Decision Trees are known for their probabilistic interpretability. However, their construction can sometimes be costly. In this article we present a general Bayesian Decision Tree algorithm applicable to both regression and classification problems. The algorithm does not apply Markov Chain Monte Carlo and does not require a pruning step. While it is possible to construct a weighted probability tree space we find that one particular tree, the greedy-modal tree (GMT), explains most of the information contained in the numerical examples. This approach seems to perform similarly to Random Forests.

研究の動機と目的

• ランダムフォレストなどのアンサンブル手法と同等の高い予測精度を維持しつつ、完全に説明可能な機械学習モデルを開発すること。
• ベイジアン意思決定木の構築において、計算コストの高いマルコフ連鎖モンテカルロ（MCMC）サンプリングやヒューリスティックなプルーニングの必要性を排除すること。
• 周辺尤度の最大化を通じて整合的なモデル選択を可能にする、確率的枠組みによる木の生成を提供すること。
• 金融や医療などのハイリスク分野において、アンサンブルモデルの代替として単一の解釈可能な木が実用的かどうかを検討すること。
• 事前分布の設定およびスムージングが、モデルの性能と一般化能力に与える影響を調査すること。

提案手法

• 特徴量の次元と分割位置に基づく再帰的分割規則を用いて、すべての可能な木の分割空間に確率空間を構築する。
• 各ノードが深さに依存する固定確率で拡張されるように、木の生成プロセスを確率的プロセスとしてモデル化する。
• カテゴリカルな出力に対して、ベータ分布を共役事前分布として用い、各分割の尤度を解析的に計算可能にする。
• 各リーフに属するすべてのデータポイントの尤度を乗算し、事前分布の積分をとることで、各分割の周辺尤度を計算する。
• 各ステップで周辺尤度が最大となる分割を選択することで、グリーディ・モーダル・ツリー（GMT）を最適な木として特定する。
• 局所的なデータ件数に応じて事前分布の集中パラメータを調整することで、事後分布推定の分散を低減するスムージング技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖モンテカルロ法やプルーニングを用いず、1本のベイジアン意思決定木がランダムフォレストと同等の予測性能を達成できるか？
• RQ2 グリーディ・モーダル・ツリー（GMT）の性能は、多様なベンチマークデータセットにおいて、従来の意思決定木やランダムフォレストと比べてどうか？
• RQ3 事前分布の設定（例：Beta(10,10)）がモデルの精度に与える影響は何か？また、適応的事前分布は一般化能力を向上させ得るか？
• RQ4 提案されたスムージング技術は、データが少ない領域におけるモデルの安定性をどの程度向上させ、過学習を軽減するか？
• RQ5 GMTフレームワークは回帰タスクや、SVMのハイパーパラメータによって定義されるようなより大きな分割空間へ拡張可能か？

主な発見

• ハートデータセットでは、GMTの平均正解率が83.0%に達し、DT（76.3%）を上回り、RF（78.5%）と同等の性能を示した。
• クレジットデータセットでは、GMTが82.0%の正解率を達成し、DT（72.6%）とRF（78.1%）をそれぞれ3.9ポイント上回った。
• シズミックデータセットでは、GMTが93.2%の正解率を記録し、RF（91.5%）を1.7ポイント上回った。
• EEGデータセットでは、GMTが81.2%の正解率にとどまり、RF（88.6%）を下回った。これは、複雑で低レベルのパターンを捉える能力に限界があることを示唆している。
• GMTの学習時間はRFよりも常に短く、クレジットデータセットでは823.2msで、RFの1388.4msを下回った。これは計算効率の高さを示している。
• δ=0.1のスムージング技術により、後件分布推定の分散が低減された。リプリーのテストセットでは、δ=0.1のほうがδ=0のときよりも滑らかな確率推定値が観察された。