[论文解读] Evaluating Bayes Error Estimators on Read-World Datasets with FeeBee

Cédric Renggli, Luka Rimanić+2 more|arXiv (Cornell University)|Aug 20, 2021

Machine Learning and Data Classification参考文献 20被引用 2

一句话总结

该论文提出了FeeBee，一种新颖的框架，通过在多个噪声水平下注入受控的标签噪声，实现了对真实世界数据集上贝叶斯错误率（BER）估计器的系统性评估。通过利用关于BER演化的理论结果，FeeBee使得在计算机视觉和自然语言处理的6个真实数据集上，对7种多分类BER估计器进行实际、可复现的比较成为可能，揭示了它们在计算效率、超参数敏感性以及性能权衡方面的特性。

ABSTRACT

The Bayes error rate (BER) is a fundamental concept in machine learning that quantifies the best possible accuracy any classifier can achieve on a fixed probability distribution. Despite years of research on building estimators of lower and upper bounds for the BER, these were usually compared only on synthetic datasets with known probability distributions, leaving two key questions unanswered: (1) How well do they perform on real-world datasets?, and (2) How practical are they? Answering these is not trivial. Apart from the obvious challenge of an unknown BER for real-world datasets, there are two main aspects any BER estimator needs to overcome in order to be applicable in real-world settings: (1) the computational and sample complexity, and (2) the sensitivity and selection of hyper-parameters. In this work, we propose FeeBee, the first principled framework for analyzing and comparing BER estimators on any modern real-world dataset with unknown probability distribution. We achieve this by injecting a controlled amount of label noise and performing multiple evaluations on a series of different noise levels, supported by a theoretical result which allows drawing conclusions about the evolution of the BER. By implementing and analyzing 7 multi-class BER estimators on 6 commonly used datasets of the computer vision and NLP domains, FeeBee allows a thorough study of these estimators, clearly identifying strengths and weaknesses of each, whilst being easily deployable on any future BER estimator.

研究动机与目标

• 为解决在真实世界数据集上缺乏对贝叶斯错误率（BER）估计器的系统性评估，而这些数据集的真实分布未知。
• 研究BER估计器在计算复杂度、样本需求和超参数敏感性方面的实际可行性。
• 提供一个可复现、基于原则的框架，用于在计算机视觉和自然语言处理的多样化真实世界数据集中比较BER估计器。
• 通过受控噪声注入，在现实条件下识别现有BER估计器的优势与不足。

提出的方法

• FeeBee在多个噪声水平下向真实世界数据集注入受控的标签噪声，以模拟不同程度的分类难度。
• 它利用一个理论结果，表明随着标签噪声的增加，贝叶斯错误率会以可预测的方式演化，从而能够推断真实BER。
• 该框架在每个噪声水平下评估7种多分类BER估计器，将其估计值与预期的BER趋势进行对比。
• 通过评估估计器的准确性、稳定性、计算成本以及对超参数的敏感性，实现比较分析。
• 该方法设计为可扩展，支持在任何真实数据集上集成和评估任何新的BER估计器。

实验结果

研究问题

• RQ1 在真实世界数据集上，现有BER估计器在真实贝叶斯错误率未知的情况下表现如何？
• RQ2 在实际环境中，BER估计器的计算复杂度和样本复杂度如何？
• RQ3 在真实场景中，BER估计器对超参数选择的敏感性如何？
• RQ4 在使用受控噪声注入的真实数据集上评估时，哪些BER估计器最为鲁棒和准确？

主要发现

• 通过使用受控标签噪声和BER演化的理论建模，FeeBee成功实现了对真实世界数据集中贝叶斯错误率趋势的可靠估计。
• 若干BER估计器对超参数选择表现出高度敏感性，尽管在合成数据上表现良好，但其实际可用性受到限制。
• 不同估计器之间的计算复杂度差异显著，部分估计器在中等噪声水平下对大规模数据集已变得不可行。
• 该框架揭示了在合成数据上表现良好的估计器往往无法泛化到真实世界分布，凸显了真实数据验证的必要性。