[论文解读] Exploiting Categorical Structure Using Tree-Based Methods

Brian Lucena|arXiv (Cornell University)|Apr 15, 2020

Data Mining Algorithms and Applications参考文献 15被引用 4

一句话总结

本文提出结构化类别决策树（SCDT），通过定义有意义的分组结构（如地理邻接或时间循环）来利用类别变量中的固有结构，从而在分裂时利用这些结构。通过将这种结构整合进梯度提升框架，SCDT在仅搜索极小部分可能分裂组合的情况下，显著优于独热编码和序数编码，证明了结构化类别建模可在无需穷举搜索的情况下提升预测性能。

ABSTRACT

Standard methods of using categorical variables as predictors either endow them with an ordinal structure or assume they have no structure at all. However, categorical variables often possess structure that is more complicated than a linear ordering can capture. We develop a mathematical framework for representing the structure of categorical variables and show how to generalize decision trees to make use of this structure. This approach is applicable to methods such as Gradient Boosted Trees which use a decision tree as the underlying learner. We show results on weather data to demonstrate the improvement yielded by this approach.

研究动机与目标

• 解决标准方法将类别变量视为无序或线性有序所带来的局限性，这些方法无法捕捉复杂的真实世界结构。
• 构建一个数学框架，用于表示和利用超越序数或无序假设的类别变量结构。
• 设计一种决策树变体，使其在学习过程中能够利用此类结构，特别是在梯度提升框架中。
• 通过实证验证，结构化类别建模可提升具有非平凡变量结构的真实世界数据的预测准确性。
• 证明仅在划分空间中搜索极小子集即可实现高性能，避免对完整划分空间的穷举搜索。

提出的方法

• 将‘地形’定义为类别变量取值子集的集合，用以表示有意义的分组，例如相邻州或相关月份。
• 利用地形指导决策树中的分裂，确保分裂尊重类别变量的潜在结构。
• 将结构化决策树集成进梯度提升框架，实现包含结构化类别特征的端到端学习。
• 通过限制每个节点的候选分裂数量（例如，max-splits-to-search）来控制复杂度并防止过拟合。
• 基于地形的接近度，聚合结构上相似类别的信息，提升泛化能力。
• 在具有结构化预测变量（如美国各州、月份）的气象数据上实现并评估该方法，与独热编码和序数编码进行比较。

实验结果

研究问题

• RQ1 能否有效建模具有非序数结构的类别变量（如地理邻接或循环时间），以提升预测性能？
• RQ2 如何构建一个数学框架，以表示并利用超越线性排序的复杂类别结构？
• RQ3 在梯度提升中使用结构化分裂是否能带来比标准独热编码或序数编码更好的泛化性能？
• RQ4 是否可能仅通过极小部分候选分裂组合即实现优异性能，避免对完整划分空间的穷举搜索？
• RQ5 所提出的方法能否推广至其他结构化问题，例如具有语义相似类别的图像分类？

主要发现

• 结构化类别决策树（SCDT）在具有结构化类别预测变量的气象预测任务中，显著优于独热编码和序数编码。
• 在较小数据集上，SCDT与基线方法之间的性能差距最大，表明在数据有限时，结构化聚合可带来显著增益。
• SCDT仅需搜索极小部分的总可能分裂组合（例如，9个县级别的变量仅需搜索5个中的36个）即可实现优异性能，证明了其效率与鲁棒性。
• 在较小数据集上，增加每个节点的候选分裂数量反而导致性能下降，可能由于过拟合，表明有限搜索起到了正则化作用。
• 即使不使用如收缩等高级正则化技术，该方法仍保持有效性，凸显了结构约束带来的内在归纳偏置。
• 结果证实，类别变量结构中存在超越序数或无序编码可捕捉的有意义信号，且该信号可在基于树的模型中被有效利用。