[論文レビュー] Interaction Detection with Bayesian Decision Tree Ensembles

Junliang Du, Antonio R. Linero|arXiv (Cornell University)|Sep 23, 2018

Data Stream Mining Techniques被引用数 9

ひとこと要約

この論文は、特定の低次の交互作用に焦点を当てるように木をクラスタリングすることで、相互作用検出を向上させるベイジアン意思決定木アンサンブル、Dirichlet Process Forests (DP-Forests) を提案する。ディリクレ過程事前分布を用いてクラスタ数を適応的に決定することで、DP-ForestsはBARTや他の手法と比較して、誤検出と見逃しを著しく低減しながら、高い検出精度を達成する。予測性能は維持されたままである。

ABSTRACT

Methods based on Bayesian decision tree ensembles have proven valuable in constructing high-quality predictions, and are particularly attractive in certain settings because they encourage low-order interaction effects. Despite adapting to the presence of low-order interactions for prediction purpose, we show that Bayesian decision tree ensembles are generally anti-conservative for the purpose of conducting interaction detection. We address this problem by introducing Dirichlet process forests (DP-Forests), which leverage the presence of low-order interactions by clustering the trees so that trees within the same cluster focus on detecting a specific interaction. We show on both simulated and benchmark data that DP-Forests perform well relative to existing interaction detection techniques for detecting low-order interactions, attaining very low false-positive and false-negative rates while maintaining the same performance for prediction using a comparable computational budget.

研究の動機と目的

• 予測性能は高いが、相互作用検出において過剰に保守的でない（誤検出が多い）傾向を示すBARTのようなベイジアン意思決定木アンサンブルの問題を解決すること。
• 構造的な木のクラスタリングを通じて、低次の相互作用の検出を明示的に促進するとともに、誤検出を抑制する完全なベイジアンフレームワークを構築すること。
• 特に弱いまたはスパースな相互作用が存在する状況において、変数選択の一貫性を高めつつ、高い予測精度を維持すること。
• 特に高次元または複雑な相互作用構造を持つ状況において、既存の相互作用検出手法に比べて計算効率の良い代替手法を提供すること。

提案手法

• ディリクレ過程事前分布を用いて木を重複のないグループにクラスタリングすることで、クラスタ数を適応的に決定できるDirichlet Process Forests (DP-Forests) を導入する。
• 各クラスタ内の木は、1つの特定の低次の相互作用を検出することを目的として設計され、同じクラスタに属する木同士で構造を共有することで、検出力が向上する。
• ディリクレ過程の事前集中パラメータを用いてクラスタリングの細かさを制御し、相互作用成分の数を自動的に選択可能にする。
• 各クラスタに固有の平均関数と分散を持つ階層的事前分布構造を採用することで、異なる強度の相互作用シグナルを柔軟にモデル化できる。
• MCMCを用いて木構造、クラスタ割り当て、モデルパラメータの同時事後分布からサンプリングする後方計算戦略を採用する。
• 特にボストン住宅データにおけるDIS-LSTAT相互作用のような複雑な効果を可視化・解釈するために、一般化加法モデル（GAMs）を用いた「フィット・ザ・フィット」アプローチを適用する。

実験結果

リサーチクエスチョン

• RQ1 BARTのようなベイジアン意思決定木アンサンブルは、誤検出のリスクが高いにもかかわらず、相互作用検出に信頼性を持って使用できるだろうか？特に、誤った相互作用に対してペナルティが与えられていないため、そのような問題が生じるのか。
• RQ2 ベイジアンツリーアンサンブルの構造をどのように変更すれば、低次の相互作用の検出を明示的に促進するとともに、不要な相互作用を抑制できるだろうか？
• RQ3 非パラメトリック事前分布（ディリクレ過程）を用いて木を相互作用固有のグループにクラスタリングすることで、標準的なBARTと比較して、相互作用検出の一貫性と精度が向上するだろうか？
• RQ4 DP-Forestsは、iRF、SBART、および加法的グローブスといった既存手法と比較して、相互作用検出の正確さと予測性能の両面で優れているだろうか？

主な発見

• シミュレーションデータにおいて、DP-ForestsはSBARTやiRFと比較して、誤検出と見逃しの両方の率が著しく低く抑えられており、SBARTはx₂とx₄の誤った相互作用を検出している。
• ボストン住宅データにおいて、DP-ForestsはDIS（就労中心地までの距離）とLSTAT（低所得者割合）の間で安定的かつ有意な相互作用を同定しており、交差検証の各foldで一貫して選択された。
• ボストン住宅データにおいて、DP-Forestsは最も低い平均二乗予測誤差（RMSE = 1.00）を達成し、iRF（1.22）、HL（1.18）、加法的グローブス（1.16）を上回った。
• DP-Forestsは、1つの主効果相互作用のみを検出しながらも、予測性能を高く維持しており、異なる相互作用を選択するようなスパースモデル（例：VANISH）とは対照的に、一貫性が向上している。
• 計算効率の面では、DP-Forestsは40,000個の事後サンプルを生成するのに241秒を要した。これはSBART（118秒）よりわずかに遅いが、加法的グローブス（4966秒）よりは高速であり、妥当な計算予算内で競争力を持つ。
• GAMを用いた可視化により、DISとLSTATの間には明確な非線形的相互作用が確認された。具体的には、低所得者割合の高い地域では、距離の負の影響が逆転している。