[论文解读] Evaluating State-of-the-Art Classification Models Against Bayes Optimality

Ryan Theisen, Huan Wang+3 more|arXiv (Cornell University)|Jun 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 7

一句话总结

本论文通过利用归一化流（normalizing flows）和贝叶斯误差在可逆变换下的不变性，提出了一种计算最先进分类模型精确贝叶斯误差的方法。通过在基准数据集上训练流模型并调节其温度，作者生成了具有可控贝叶斯误差的合成数据集，揭示了当前最先进模型在部分但非全部任务上已接近最优性能，为模型评估和数据集难度评估提供了绝对基准。

ABSTRACT

Evaluating the inherent difficulty of a given data-driven classification problem is important for establishing absolute benchmarks and evaluating progress in the field. To this end, a natural quantity to consider is the \emph{Bayes error}, which measures the optimal classification error theoretically achievable for a given data distribution. While generally an intractable quantity, we show that we can compute the exact Bayes error of generative models learned using normalizing flows. Our technique relies on a fundamental result, which states that the Bayes error is invariant under invertible transformation. Therefore, we can compute the exact Bayes error of the learned flow models by computing it for Gaussian base distributions, which can be done efficiently using Holmes-Diaconis-Ross integration. Moreover, we show that by varying the temperature of the learned flow models, we can generate synthetic datasets that closely resemble standard benchmark datasets, but with almost any desired Bayes error. We use our approach to conduct a thorough investigation of state-of-the-art classification models, and find that in some -- but not all -- cases, these models are capable of obtaining accuracy very near optimal. Finally, we use our method to evaluate the intrinsic "hardness" of standard benchmark datasets, and classes within those datasets.

研究动机与目标

• 通过计算理论上最优的误差（即贝叶斯误差），建立分类模型性能的绝对基准，而非依赖相对比较。
• 通过使用归一化流近似真实数据分布，解决在高维真实数据集中计算贝叶斯误差的不可行性问题。
• 实现具有已知、可调贝叶斯误差的合成数据集的可控生成，使其在风格和结构上与标准基准数据集高度相似。
• 通过使用基于流的模型估计贝叶斯误差，评估分类任务及其各个类别的内在难度。
• 研究最先进模型在多种基准数据集上与理论性能极限的接近程度。

提出的方法

• 使用归一化流学习从数据空间到标准高斯基分布的可逆、双射变换，从而在变换后的空间中精确计算贝叶斯误差。
• 利用贝叶斯误差在可逆变换下的不变性，使原始数据分布的贝叶斯误差等于潜在空间中学习到的高斯混合分布的贝叶斯误差。
• 应用Holmes-Diaconis-Ross积分方法，高效计算潜在空间中高斯类条件分布的精确贝叶斯误差。
• 通过调节训练好的流模型的温度，控制合成数据集的贝叶斯误差，从而在保持数据分布特征的同时系统性地调节难度。
• 对一 vs 全类分类任务使用蒙特卡洛估计，其中负类为高斯混合，实现对每个类别的难度分析。
• 在标准数据集（如CIFAR-10、EMNIST）上训练流模型，并利用其生成具有已知贝叶斯误差的合成数据，用于评估。

实验结果

研究问题

• RQ1 最先进分类模型在标准基准数据集上与理论贝叶斯最优误差的接近程度如何？
• RQ2 我们能否生成具有可控、已知贝叶斯误差的合成数据集，使其在分布和结构上与真实基准数据集高度相似？
• RQ3 以一 vs 全贝叶斯误差衡量，数据集中单个类别的内在难度如何？
• RQ4 真实数据分布的贝叶斯误差与流近似分布的贝叶斯误差相比如何？这对基准测试有何影响？
• RQ5 最先进模型的性能在多大程度上反映了其与数据分布基本极限的接近程度？

主要发现

• CIFAR-10的贝叶斯误差估计为1.64e-1，EMNIST（byclass）为2.40e-1，最先进模型在这些数据集上的准确率非常接近最优。
• 在CIFAR-100中，最难的类别（松鼠）的贝叶斯误差接近最易类别（衣橱）的五倍，表明类别内在难度存在显著差异。
• 最先进模型的性能与估计的贝叶斯误差高度一致，表明该方法为模型评估提供了可靠的绝对基准。
• 通过调节流模型的温度，作者成功生成了贝叶斯误差覆盖广泛范围的合成数据集，实现了在不同难度级别下对模型行为的可控研究。
• 该方法揭示，尽管某些模型已接近最优性能，但仍存在任务和类别，其与贝叶斯最优之间的差距非微不足道，表明仍有改进空间。
• 该方法可创建一个训练好的流模型库，可用于生成任意所需难度的无限合成数据，有助于鲁棒性测试并减少虚假相关性。