[论文解读] Interaction Detection with Bayesian Decision Tree Ensembles

Junliang Du, Antonio R. Linero|arXiv (Cornell University)|Sep 23, 2018

Data Stream Mining Techniques被引用 9

一句话总结

该论文提出了狄利克雷过程森林（DP-Forests），一种贝叶斯决策树集成方法，通过聚类树以聚焦于特定的低阶交互作用，从而提升交互作用检测能力。通过使用狄利克雷过程先验自适应确定聚类数量，DP-Forests在检测真实交互作用方面实现了高精度，同时与BART及其他方法相比，显著降低了假阳性和假阴性率，且保持了出色的预测性能。

ABSTRACT

Methods based on Bayesian decision tree ensembles have proven valuable in constructing high-quality predictions, and are particularly attractive in certain settings because they encourage low-order interaction effects. Despite adapting to the presence of low-order interactions for prediction purpose, we show that Bayesian decision tree ensembles are generally anti-conservative for the purpose of conducting interaction detection. We address this problem by introducing Dirichlet process forests (DP-Forests), which leverage the presence of low-order interactions by clustering the trees so that trees within the same cluster focus on detecting a specific interaction. We show on both simulated and benchmark data that DP-Forests perform well relative to existing interaction detection techniques for detecting low-order interactions, attaining very low false-positive and false-negative rates while maintaining the same performance for prediction using a comparable computational budget.

研究动机与目标

• 为解决BART等贝叶斯决策树集成方法在检测交互作用时存在的过度保守行为，这些方法尽管预测性能强，却常产生虚假的交互效应。
• 开发一个完全贝叶斯框架，通过树的结构化聚类显式鼓励检测低阶交互作用，同时对虚假交互作用施加惩罚。
• 在保持高预测准确性的同时，提升交互作用检测中变量选择的一致性，特别是在弱交互或稀疏交互的情境下。
• 提供一种计算高效的现有交互作用检测方法替代方案，尤其适用于高维或复杂交互结构的情形。

提出的方法

• 提出狄利克雷过程森林（DP-Forests），利用狄利克雷过程先验将树聚类为非重叠组别，以实现聚类数量的自适应确定。
• 每个树的聚类被设计用于检测单一特定的低阶交互作用，同一聚类内树的共享结构可增强检测能力。
• 利用狄利克雷过程的先验浓度参数控制聚类粒度，实现对交互作用分量数量的自动选择。
• 采用分层先验结构，每个聚类拥有其自身的均值函数和方差，以灵活建模具有不同强度的交互信号。
• 采用后验计算策略，通过MCMC从树结构、聚类分配和模型参数的联合后验分布中进行抽样。
• 采用“拟合拟合”方法，结合广义可加模型（GAMs）对检测到的交互作用进行可视化与解释，尤其适用于DIS-LSTAT等复杂效应。

实验结果

研究问题

• RQ1 像BART这样的贝叶斯决策树集成方法能否可靠用于交互作用检测？还是由于缺乏对虚假交互作用的惩罚，导致其假阳性率过高？
• RQ2 如何修改贝叶斯树集成的结构，以显式鼓励检测低阶交互作用，同时抑制无关交互？
• RQ3 通过非参数先验（狄利克雷过程）将树聚类为特定交互作用的组别，是否相比标准BART能提升交互作用检测的一致性与准确性？
• RQ4 在交互作用检测准确率和预测性能方面，DP-Forests与iRF、SBART和可加树模型（additive groves）等现有方法相比表现如何？

主要发现

• 在模拟数据上，DP-Forests在交互作用检测中显著降低了假阳性和假阴性率，相比SBART和iRF，SBART甚至检测到了x₂与x₄之间虚假的交互作用。
• 在波士顿房价数据集中，DP-Forests识别出DIS（到就业中心的距离）与LSTAT（低地位人口比例）之间存在稳定且显著的交互作用，该交互在交叉验证的各折中均被一致选中。
• 在波士顿房价数据集上，DP-Forests实现了最低的均方根预测误差（RMSE = 1.00），优于iRF（1.22）、HL（1.18）和可加树模型（1.16）。
• DP-Forests在仅检测到一个主交互作用的同时保持了强大的预测性能，与VANISH等稀疏模型相比，后者会选出不同的交互作用，表明其具有更高的选择一致性。
• 在计算效率方面，DP-Forests生成40,000个后验样本耗时241秒，略慢于SBART（118秒）但快于可加树模型（4966秒），在合理计算预算内具有竞争力。
• 通过GAMs的可视化确认，DIS与LSTAT之间存在清晰的非线性交互作用：在低地位人口比例较高的社区中，距离对房价的负面影响被反转。