[论文解读] A study in Rashomon curves and volumes: A new perspective on generalization and model simplicity in machine learning

Lesia Semenova, Cynthia Rudin|arXiv (Cornell University)|Aug 5, 2019

Machine Learning and Data Classification参考文献 50被引用 53

一句话总结

本文引入了Rashomon比率——一种基于准确模型在完整假设空间中所占体积的模型类简洁性度量——用于分析泛化能力和模型简洁性。它识别出经验风险与Rashomon比率之间的Γ形Rashomon曲线，其拐点可作为稳健的模型选择标准，从而实现对准确、简洁且理想模型（如可解释或公平的模型）的发现。

ABSTRACT

The Rashomon effect occurs when many different explanations exist for the same phenomenon. In machine learning, Leo Breiman used this term to characterize problems where many accurate-but-different models exist to describe the same data. In this work, we study how the Rashomon effect can be useful for understanding the relationship between training and test performance, and the possibility that simple-yet-accurate models exist for many problems. We consider the Rashomon set - the set of almost-equally-accurate models for a given problem - and study its properties and the types of models it could contain. We present the Rashomon ratio as a new measure related to simplicity of model classes, which is the ratio of the volume of the set of accurate models to the volume of the hypothesis space; the Rashomon ratio is different from standard complexity measures from statistical learning theory. For a hierarchy of hypothesis spaces, the Rashomon ratio can help modelers to navigate the trade-off between simplicity and accuracy. In particular, we find empirically that a plot of empirical risk vs. Rashomon ratio forms a characteristic $\Gamma$-shaped Rashomon curve, whose elbow seems to be a reliable model selection criterion. When the Rashomon set is large, models that are accurate - but that also have various other useful properties - can often be obtained. These models might obey various constraints such as interpretability, fairness, or monotonicity.

研究动机与目标

• 使用机器学习中的Rashomon效应理解模型准确率与简洁性之间的关系。
• 将Rashomon集正式定义为针对给定问题的几乎所有准确度相近的模型集合。
• 提出Rashomon比率作为与传统统计学习理论度量不同的新颖复杂度度量。
• 探讨大规模Rashomon集如何促进发现具备额外理想属性（如可解释性或公平性）的准确模型。
• 建立Rashomon曲线——将经验风险与Rashomon比率绘图——作为实用的模型选择工具。

提出的方法

• 将Rashomon集定义为在给定数据集上实现近似最优经验风险的模型集合。
• 引入Rashomon比率，即Rashomon集体积与完整假设空间体积的比值。
• 利用分层假设空间分析Rashomon比率如何随模型类复杂度变化。
• 在不同模型族中绘制经验风险与Rashomon比率的关系时，经验观察到Γ形曲线。
• 利用Rashomon曲线的拐点作为选择在准确率与简洁性之间取得平衡的模型的标准。
• 证明当Rashomon集较大时，可发现满足单调性、公平性或可解释性等约束的准确模型。

实验结果

研究问题

• RQ1 Rashomon比率如何以区别于标准复杂度度量的方式量化模型类的简洁性？
• RQ2 在不同模型类中，经验风险与Rashomon比率之间的关系形状如何？
• RQ3 Rashomon曲线的拐点能否作为可靠的模型选择标准？
• RQ4 在何种条件下，大规模Rashomon集能够促进发现具备额外理想属性的准确模型？
• RQ5 可解释性或公平性等约束如何与Rashomon集的结构相关联？

主要发现

• Rashomon比率提供了一种新的模型类简洁性度量方式，其独立于传统的统计学习理论复杂度度量。
• 当绘制经验风险与Rashomon比率的关系时，经验上呈现出特征性的Γ形Rashomon曲线，表明模型行为中存在普遍模式。
• Rashomon曲线的拐点是可靠且稳健的模型选择标准，能够在准确率与简洁性之间实现良好平衡。
• 当Rashomon集较大时，能够找到既准确又满足可解释性、公平性或单调性等约束的模型。
• 大规模Rashomon集的存在意味着多种具有不同属性的准确模型可以共存，从而增强模型选择的灵活性。