[论文解读] Benchmarks for Image Classification and Other High-dimensional Pattern Recognition Problems

Tarun Yellamraju, Jonas Hepp+1 more|arXiv (Cornell University)|Jun 13, 2018

Machine Learning and Algorithms参考文献 15被引用 3

一句话总结

本文提出了一种基准框架，用于通过误差与计算成本的权衡来评估高维模式识别问题的难度。该框架引入基于随机投影的启发式方法，生成分类误差的上界，其渐近线收敛于贝叶斯误差，从而能够识别出复杂方法相对于简单启发式方法无结构性优势的问题。

ABSTRACT

A good classification method should yield more accurate results than simple heuristics. But there are classification problems, especially high-dimensional ones like the ones based on image/video data, for which simple heuristics can work quite accurately; the structure of the data in such problems is easy to uncover without any sophisticated or computationally expensive method. On the other hand, some problems have a structure that can only be found with sophisticated pattern recognition methods. We are interested in quantifying the difficulty of a given high-dimensional pattern recognition problem. We consider the case where the patterns come from two pre-determined classes and where the objects are represented by points in a high-dimensional vector space. However, the framework we propose is extendable to an arbitrarily large number of classes. We propose classification benchmarks based on simple random projection heuristics. Our benchmarks are 2D curves parameterized by the classification error and computational cost of these simple heuristics. Each curve divides the plane into a "positive- gain" and a "negative-gain" region. The latter contains methods that are ill-suited for the given classification problem. The former is divided into two by the curve asymptote; methods that lie in the small region under the curve but right of the asymptote merely provide a computational gain but no structural advantage over the random heuristics. We prove that the curve asymptotes are optimal (i.e. at Bayes error) in some cases, and thus no sophisticated method can provide a structural advantage over the random heuristics. Such classification problems, an example of which we present in our numerical experiments, provide poor ground for testing new pattern classification methods.

研究动机与目标

• 量化高维模式识别问题的难度，特别是在图像和视频数据中的难度。
• 开发一种系统化的方法，以评估复杂分类方法是否相对于简单启发式方法具有结构性优势。
• 识别出分类问题过于简单的情况——即简单随机投影启发式方法已达到近似最优性能，使得此类问题不适合用于测试新方法。
• 提供一个可视化和分析性的基准平面，以区分仅提供计算优势的方法与真正提供结构性改进的方法。
• 通过评估数据内在结构和类别可分性，指导研究人员选择合适的测试数据集以验证新型模式识别算法。

提出的方法

• 通过高维数据的一维随机投影，构建分类误差的上界序列。
• 以计算成本（如投影数量或决策树中的层级数）为参数，形成误差-成本平面上的权衡曲线。
• 使用单调递减的上界，确保结果的可靠性，并随着投影数量的增加，使结果收敛于贝叶斯误差。
• 估计每条曲线的渐近线，代表理论最小误差（即贝叶斯误差），并在特定条件下证明其最优性。
• 通过曲线将基准平面划分为‘正向收益’区域（曲线左侧）和‘负向收益’区域（曲线右侧），以评估方法的适用性。
• 在真实数据集（如 MFEAT、行人检测）上应用该框架，使用 Karhunen-Love 系数，并将结果与最先进的方法（如 DNN 和 SVM）进行比较。

实验结果

研究问题

• RQ1 如何在不依赖复杂模型的前提下，客观量化高维模式识别问题的难度？
• RQ2 在真实世界数据集中，简单随机投影启发式方法在多大程度上能实现接近贝叶斯误差的分类性能？
• RQ3 在哪些情况下，如深度神经网络或 SVM 等复杂方法能相对于基本启发式方法提供结构性优势？
• RQ4 我们能否识别出数据内在结构如此容易被揭示的那些数据集，使得高级方法不仅无用，甚至可能适得其反？
• RQ5 如何利用统一的基准框架，区分模式识别方法中的计算效率低下与缺乏结构性优势？

主要发现

• 所提出的基准曲线的渐近线在某些情况下收敛于贝叶斯误差，证明该框架能够识别出分类误差的理论下界。
• 在偶数与奇数数字分类问题中，渐近线估计值约为 10%，表明数据结构具有非平凡性，需依赖复杂方法才能实现最优性能。
• 深度神经网络将误差从约 10%（基准渐近线）降低至 1.4%，表明在此情况下实现了超过七倍的结构性优势提升。
• 在行人检测问题中，无任何测试方法（包括 DNN 和 SVM）落入正向收益区域，表明通过随机投影即可轻松发现数据结构，因此该问题过于简单，不适合高级方法测试。
• 该框架成功识别出某些常用数据集——尤其是如 '0' 与 '1' 这类简单的二值图像分类任务——过于简单，不适用于测试新型模式识别方法。
• 即使计算成本不断增加，上界仍能收敛至稳定渐近线，表明对过拟合具有鲁棒性，并确认检测到了真实的数据内在结构。