[论文解读] Forest Floor Visualizations of Random Forests

Soeren H. Welling, Hanne H. F. Refsgaard+2 more|arXiv (Cornell University)|May 30, 2016

Forest ecology and management参考文献 11被引用 64

一句话总结

本文提出了一种名为'forest floor'的新颖随机森林模型可视化方法，通过特征贡献和降维技术揭示非线性关系与交互作用，无需平均处理，从而实现可解释的高维可视化，暴露隐藏的交互作用，提升模型可解释性，超越传统部分依赖图的局限。

ABSTRACT

We propose a novel methodology, forest floor, to visualize and interpret random forest (RF) models. RF is a popular and useful tool for non-linear multi-variate classification and regression, which yields a good trade-off between robustness (low variance) and adaptiveness (low bias). Direct interpretation of a RF model is difficult, as the explicit ensemble model of hundreds of deep trees is complex. Nonetheless, it is possible to visualize a RF model fit by its mapping from feature space to prediction space. Hereby the user is first presented with the overall geometrical shape of the model structure, and when needed one can zoom in on local details. Dimensional reduction by projection is used to visualize high dimensional shapes. The traditional method to visualize RF model structure, partial dependence plots, achieve this by averaging multiple parallel projections. We suggest to first use feature contributions, a method to decompose trees by splitting features, and then subsequently perform projections. The advantages of forest floor over partial dependence plots is that interactions are not masked by averaging. As a consequence, it is possible to locate interactions, which are not visualized in a given projection. Furthermore, we introduce: a goodness-of-visualization measure, use of colour gradients to identify interactions and an out-of-bag cross validated variant of feature contributions.

研究动机与目标

• 为解决复杂高维随机森林模型的可解释性挑战，此类模型虽预测性能强劲，但常被视为黑箱。
• 克服部分依赖图的局限性，后者因投影平均化而掩盖交互作用。
• 开发一种可视化框架，引导用户识别并理解随机森林模型中具有影响力的交互作用。
• 引入可视化质量度量指标与颜色渐变技术，突出特征贡献图中尚未被捕捉的交互作用。
• 通过使用袋外（out-of-bag）与交叉验证的特征贡献，降低过拟合风险，提升可视化结果的可靠性。

提出的方法

• 该方法利用特征贡献将随机森林中的每棵树分解为各特征的贡献，实现对预测结果向特定输入变量的可追溯性。
• 通过投影实现降维，将高维模型映射关系可视化为二维或三维图像，同时保留局部结构与交互关系。
• 该方法以针对性的特征贡献可视化替代部分依赖图中的平行投影平均化处理，减少交互效应被掩盖的问题。
• 提出一种新的可视化质量度量指标，评估某一特征的贡献是否可独立解释，或是否需要上下文交互关系的支持。
• 在可视化中使用颜色渐变，突出显示当前投影尚未捕捉但实际存在的交互作用区域。
• 引入袋外与n折交叉验证版本的特征贡献，以降低过拟合风险，提升可视化结果的泛化能力。

实验结果

研究问题

• RQ1 特征贡献与定向投影能否揭示在部分依赖图中因平均化而被掩盖的随机森林模型中的交互作用？
• RQ2 如何通过可视化框架引导用户定位并评估高维随机森林模型中隐藏交互作用的影响？
• RQ3 特征贡献与可视化质量度量指标在多大程度上可提升随机森林模型的可解释性？
• RQ4 袋外交叉验证的特征贡献能否在不牺牲可解释性的前提下降低模型可视化中的过拟合？
• RQ5 随机森林在拟合高阶交互作用方面存在哪些局限性？这又如何影响模型结构的可可视化性？

主要发现

• forest floor 通过聚焦于特征贡献而非平均投影，成功可视化了随机森林模型中复杂的非线性与交互关系。
• 该方法揭示了在部分依赖图中被掩盖的交互作用，颜色渐变技术可明确标识尚未被当前投影捕捉的交互效应。
• 袋外交叉验证的特征贡献显著降低过拟合，提升可视化结果的可靠性，尤其在噪声较大或高维场景下表现更优。
• 可视化质量度量指标能有效识别出无法独立解释的特征贡献，提示需引入上下文交互关系的可视化。
• 模拟实验表明，即使在10,000个无噪声观测下，随机森林对三阶及以上交互作用的拟合能力仍较差，因此可视化需求主要集中在二阶或三阶交互作用。
• 该框架实现了可解释且具备上下文感知能力的随机森林模型可视化，挑战了随机森林本质上不可解释黑箱的固有认知。