[論文レビュー] Top-down particle filtering for Bayesian decision trees

Balaji Lakshminarayanan, Daniel M. Roy+1 more|arXiv (Cornell University)|Mar 3, 2013

Bayesian Modeling and Causal Inference参考文献 27被引用数 17

ひとこと要約

本稿では、ID3 や C4.5 などの古典的グリーディ木学習法を模倣するトップダウン型逐次モンテカルロ（SMC）アルゴリズムを、ベイジアン意思決定木に対して提案する。粒子フィルタリングとリサンプリングを用いて事後分布を近似する。予測精度は最先端のMCMC手法と同等でありながら、10倍以上高速であるため、計算量と精度のトレードオフにおいて優れた性能を発揮する。

ABSTRACT

Decision tree learning is a popular approach for classification and regression in machine learning and statistics, and Bayesian formulations---which introduce a prior distribution over decision trees, and formulate learning as posterior inference given data---have been shown to produce competitive performance. Unlike classic decision tree learning algorithms like ID3, C4.5 and CART, which work in a top-down manner, existing Bayesian algorithms produce an approximation to the posterior distribution by evolving a complete tree (or collection thereof) iteratively via local Monte Carlo modifications to the structure of the tree, e.g., using Markov chain Monte Carlo (MCMC). We present a sequential Monte Carlo (SMC) algorithm that instead works in a top-down manner, mimicking the behavior and speed of classic algorithms. We demonstrate empirically that our approach delivers accuracy comparable to the most popular MCMC method, but operates more than an order of magnitude faster, and thus represents a better computation-accuracy tradeoff.

研究の動機と目的

• 古典的アルゴリズム（例：ID3, C4.5）と同様にトップダウンでグリーディに動作する、意思決定木におけるベイジアン推論手法の開発。MCMCの反復的更新とは異なり、そのような手法を採用することを目的とする。
• 予測精度を損なわずに、ベイジアン意思決定木学習の計算効率を向上させること。
• リサンプリングと粒子ベースの木成長を可能にする逐次モンテカルロフレームワークを用いて、ベイジアン意思決定木における事後分布近似を可能にすること。
• トップダウン型粒子フィルタリングが、MCMCベースのベイジアン木学習と同等の性能を達成できるか、かつ著しく高速であるかを評価すること。

提案手法

• 本手法は、根ノードから始まり、段階的にノードを拡張するトップダウンでグリーディな方法で、集合体の意思決定木を逐次モンテカルロ（SMC）フレームワークを用いてサンプリングする。
• 各ステップで、局所尤度とデータ分割に基づく提案分布を用いて粒子（木）を前向きに伝搬し、高い事後尤度の木に集中するためリサンプリングを実施する。
• チープマンら（1998）に従い、各ブロック内のデータ範囲に依存する事前分布を採用することで、木の複雑さを正則化する。
• 2種類の提案戦略を評価：単純で高速な「事前分布提案」と、より正確だが遅い「1ステップ最適提案」。性能のトレードオフを分析する。
• ノードごとの条件付き尤度に従って木の成長を誘導し、低尤度の粒子を削除し、より適合する構造に集中するためリサンプリングを用いる。
• 明示的な刈り込みを避けるために、事前分布と尤度に依存して木の深さを自然に制限し、過学習を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 トップダウン型で粒子ベースのSMCアルゴリズムは、MCMCベースのベイジアン意思決定木推論と同等の予測精度を達成できるか？
• RQ2 提案されたSMC手法は、MCMCアプローチと比較して顕著な高速化を達成できるか、かつ事後分布近似の品質を維持できるか？
• RQ3 異なる提案分布（事前分布 vs. 最適）は、ベイジアン意思決定木学習におけるSMCアルゴリズムの効率性と精度にどのように影響を与えるか？
• RQ4 意思決定木のグリーディで階層的な構造を活用することで、SMCフレームワークをMCMCよりも効率的にできるか？

主な発見

• 提案されたSMCアルゴリズムは、テスト精度と対数予測尤度という指標で、ベイジアン意思決定木に用いられる最も一般的なMCMC手法と同等の予測精度を達成した。
• SMC手法はMCMCベースラインと比較して10倍以上高速に動作し、計算量と精度のトレードオフにおいて優れた性能を発揮した。
• 1ステップ最適提案は粒子ごとの収束を改善したが、全体の計算コストが高すぎて不適切であり、特に不要な特徴が少ないデータセットでは顕著だった。
• 複数のノードを同時に拡張すると性能が低下したため、逐次的拡張がより効果的であることが示された。
• より洗練されたノード選択戦略は性能向上に寄与しなかったため、粒子伝搬に単純なヒューリスティクスで十分であることが示唆された。
• CARTアルゴリズムで精度を最適化し、ラプラス補正を施した場合でさえ、ベイジアンSMCアプローチが対数予測尤度において優れていた。