[论文解读] Exploring the Whole Rashomon Set of Sparse Decision Trees

Rui Xin, Chudi Zhong+4 more|PubMed|Sep 16, 2022

Machine Learning and Algorithms参考文献 6被引用 21

一句话总结

本文介绍 TreeFARMS，这是首个能够完全枚举稀疏决策树的 Rashomon 集的方法，使得对所有近优模型进行查询、抽样与分析成为可能，适用于非线性树类。它还展示了在变量重要性、替代度量，以及数据子集 Rashomon 集方面的应用。

ABSTRACT

In any given machine learning problem, there might be many models that explain the data almost equally well. However, most learning algorithms return only one of these models, leaving practitioners with no practical way to explore alternative models that might have desirable properties beyond what could be expressed by a loss function. The <i>Rashomon set</i> is the set of these all almost-optimal models. Rashomon sets can be large in size and complicated in structure, particularly for highly nonlinear function classes that allow complex interaction terms, such as decision trees. We provide the first technique for completely enumerating the Rashomon set for sparse decision trees; in fact, our work provides the first complete enumeration of any Rashomon set for a non-trivial problem with a highly nonlinear discrete function class. This allows the user an unprecedented level of control over model choice among all models that are approximately equally good. We represent the Rashomon set in a specialized data structure that supports efficient querying and sampling. We show three applications of the Rashomon set: 1) it can be used to study variable importance for the set of almost-optimal trees (as opposed to a single tree), 2) the Rashomon set for accuracy enables enumeration of the Rashomon sets for balanced accuracy and F1-score, and 3) the Rashomon set for a full dataset can be used to produce Rashomon sets constructed with only subsets of the data set. Thus, we are able to examine Rashomon sets across problems with a new lens, enabling users to choose models rather than be at the mercy of an algorithm that produces only a single model.

研究动机与目标

• 激发对稀疏决策树的所有近似最优模型（Rashomon 集）的研究。
• 提出分析界限和数据结构驱动的方法，以高效枚举 Rashomon 集。
• 提供可扩展的实现（TreeFARMS），用于存储、提取和抽样 Rashomon 集。
• 展示实际应用：变量重要性（MCR）、用于替代度量的 Rashomon 集，以及对数据子集的鲁棒性。

提出的方法

• 基于参考目标阈值定义 epsilon-Rashomon 集。
• 推导界限（Basic Rashomon Lower Bound 和 Rashomon Equivalent Points Bound）以剪枝搜索空间。
• 用分层模型集（MS）和模型集实例（MSI）来表示 Rashomon 集，以减少冗余。
• 与 GOSDT 集成，利用有界条件进行动态规划并提取所有近优树。
• 提供提取算法，基于 GOSDT 依赖图从中构建 MS（算法 1 与 2）。
• 提供抽样机制，在完全存储不可行时近似 Rashomon 集（第 4.3 节）。

实验结果

研究问题

• RQ1 真实数据集上稀疏决策树的 Rashomon 集的大小和结构是什么？
• RQ2 变量重要性如何在所有表现良好的模型中变化，以及如何测量它（MCR）？
• RQ3 是否可以为比准确率更广泛的度量构建 Rashomon 集，如平衡准确率和 F1-score？
• RQ4 在移除或扰动数据子集时，Rashomon 集如何变化？

主要发现

• TreeFARMS 在多个数据集上显著优于基线，枚举出数量级更多的不同 Rashomon 集树。
• 该方法能够精确计算 Model Class Reliance (MCR) 的范围，揭示在所有表现良好的树之间的变量重要性。
• 通过给定的定理，可以从 accuracy Rashomon 集推导出平衡准确率和 F1-score 的 Rashomon 集，从而实现多指标分析。
• 在数据移除下的 Rashomon 集显示最优树之间高度相关，表明对小样本变动具有鲁棒性。
• 当完全枚举不可行时，抽样方法可逼近 MCR，通常以 25% 的样本就能收敛。
• TreeFARMS 保证对所考虑的稀疏树类的 Rashomon 集进行完全枚举。