[论文解读] High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss

Xiaoyi Mai, Zhenyu Liao|arXiv (Cornell University)|May 31, 2019

Statistical Methods and Inference参考文献 40被引用 10

一句话总结

本文通过经验风险最小化方法，对高维设置下正则化与非正则化模型的分类误差进行了精确的理论分析。在两分类高斯混合模型下，结果表明平方损失在所有样本大小和维度条件下均能保持最优分类性能，优于其他凸损失函数，无论是否存在岭正则化。

ABSTRACT

This article provides, through theoretical analysis, an in-depth understanding of the classification performance of the empirical risk minimization framework, in both ridge-regularized and unregularized cases, when high dimensional data are considered. Focusing on the fundamental problem of separating a two-class Gaussian mixture, the proposed analysis allows for a precise prediction of the classification error for a set of numerous data vectors $\mathbf{x} \in \mathbb R^p$ of sufficiently large dimension $p$. This precise error depends on the loss function, the number of training samples, and the statistics of the mixture data model. It is shown to hold beyond Gaussian distribution under some additional non-sparsity condition of the data statistics. Building upon this quantitative error analysis, we identify the simple square loss as the optimal choice for high dimensional classification in both ridge-regularized and unregularized cases, regardless of the number of training samples.

研究动机与目标

• 理解在 p ≈ n 或 p > n 的高维设置下，经验风险最小化方法的分类性能。
• 在两分类高斯混合模型下，量化正则化与非正则化模型的精确分类误差。
• 确定高维分类中与样本大小或维度无关的最优损失函数。
• 将理论发现扩展至非高斯数据，在数据结构满足弱非稀疏性条件下保持有效性。

提出的方法

• 采用双重留一法分析高维条件下经验风险最小化器的渐近行为。
• 应用随机矩阵理论和凸高斯极小最大定理（CGMT）刻画解路径。
• 推导出分类误差的精确表达式，其依赖于损失函数、训练样本大小及数据模型统计量。
• 建立权重向量范数在模型下满足 O(p^{-1/2}) 的尺度关系，从而实现误差的量化。
• 通过损失函数的二阶展开和条件期望，推导分类器的渐近行为。
• 通过在具有受控特征相关性和维度的合成数据上进行数值模拟，验证理论预测。

实验结果

研究问题

• RQ1 在 p ≈ n 或 p > n 的高维设置下，经验风险最小化的精确分类误差是什么？
• RQ2 当样本数量并非远大于特征维度时，损失函数的选择如何影响分类性能？
• RQ3 是否存在一种在所有样本大小下均最优的损失函数，适用于高维分类？
• RQ4 针对具有相关特征的非高斯分布，基于高斯数据推导出的理论结果在多大程度上可推广？
• RQ5 在高维条件下，岭正则化如何影响分类误差？

主要发现

• 平方损失在高维分类中对正则化与非正则化经验风险最小化均被证明为最优，且不依赖于训练样本数量。
• 分类误差被精确刻画为损失函数、训练样本大小及数据模型参数（包括均值偏移和协方差结构）的函数。
• 在数据统计量满足非稀疏性条件下，该误差表达式可推广至非高斯数据，表明其对分布假设具有鲁棒性。
• 权重向量范数满足 O(p^{-1/2}) 的尺度关系，从而可推导出渐近精确的误差表达式。
• 数值验证结果确认了理论预测，预测与观测到的分类误差在不同维度和样本大小下高度一致。
• 即使在数据呈现相关特征时，平方损失的最优性能依然保持，凸显其在结构化高维设置下的鲁棒性。