[论文解读] A Large Dimensional Study of Regularized Discriminant Analysis Classifiers

Khalil Elkhalil, Abla Kammoun+3 more|arXiv (Cornell University)|Nov 1, 2017

Bayesian Methods and Mixture Models被引用 4

一句话总结

本论文利用随机矩阵理论，对正则化线性判别分析（R-LDA）和正则化二次判别分析（R-QDA）进行了大维数渐近分析，表明误分类概率收敛到一个仅取决于类别统计量和 $ p/n $ 比值的确定性极限。关键贡献在于推导出该极限的闭式表达式，从而实现高维设置下有限样本中误差最小化的最优正则化参数调优。

ABSTRACT

This article carries out a large dimensional analysis of standard regularized discriminant analysis classifiers designed on the assumption that data arise from a Gaussian mixture model with different means and covariances. The analysis relies on fundamental results from random matrix theory (RMT) when both the number of features and the cardinality of the training data within each class grow large at the same pace. Under mild assumptions, we show that the asymptotic classification error approaches a deterministic quantity that depends only on the means and covariances associated with each class as well as the problem dimensions. Such a result permits a better understanding of the performance of regularized discriminant analsysis, in practical large but finite dimensions, and can be used to determine and pre-estimate the optimal regularization parameter that minimizes the misclassification error probability. Despite being theoretically valid only for Gaussian data, our findings are shown to yield a high accuracy in predicting the performances achieved with real data sets drawn from the popular USPS data base, thereby making an interesting connection between theory and practice.

研究动机与目标

• 分析在维度 $ p $ 和样本量 $ n $ 同时趋于无穷大且比值 $ p/n $ 固定的高维设置下，正则化 LDA 和 QDA 的渐近性能。
• 在具有不同均值和协方差的一般高斯混合模型下，推导误分类概率的确定性等价形式。
• 确定类别均值和协方差差异的增长速率条件，使得非平凡的分类性能得以出现。
• 通过基于理论渐近分析的稳健估计量，实现正则化参数 $ \gamma $ 的最优调优。
• 通过在 USPS 数据集上的合成数据和真实世界实验验证理论结果，展示对分类误差的准确预测。

提出的方法

• 分析采用随机矩阵理论（RMT）工具，研究在双渐近 regime $ p, n \to \infty $ 下 R-LDA 和 R-QDA 的渐近行为，其中 $ p/n \to c \in (0, \infty) $。
• 在类别均值和协方差差异增长速率的温和假设下，推导出误分类概率的闭式表达式。
• 对于 R-LDA，极限误差仅依赖于类别均值之差和正则化参数 $ \gamma $，且要求均值差为 $ O(1) $ 量级。
• 对于 R-QDA，极限误差依赖于均值差（需为 $ O(\sqrt{p}) $ 量级）和协方差差异的谱范数，反映出其同时利用均值和协方差信息的特性。
• 提出一种两阶段优化方法：首先使用基于高斯分布的 G-估计器估计最优 $ \gamma $，然后通过交叉验证或在真实数据上测试进一步优化。
• 在合成数据和 USPS 真实数据上验证了 G-估计器，结果表明其预测误差与实际测试误差在不同 $ n_0 $ 和 $ p $ 设置下高度一致。

实验结果

研究问题

• RQ1 当维度 $ p $ 和样本量 $ n $ 同时趋于无穷大且比值 $ p/n $ 固定时，R-LDA 和 R-QDA 的误分类概率的渐近行为如何？
• RQ2 在类别均值和协方差矩阵的何种增长速率条件下，R-LDA 和 R-QDA 能够实现非平凡且非退化的分类性能？
• RQ3 正则化参数 $ \gamma $ 如何影响渐近误分类率？是否能通过理论近似实现其最优调优？
• RQ4 所提出的误分类率理论估计器能否准确预测真实世界高维数据的实际测试误差？
• RQ5 R-LDA 和 R-QDA 在高维渐近框架下，利用类别均值和协方差信息方面存在哪些根本性差异？

主要发现

• 通过随机矩阵理论，R-LDA 和 R-QDA 的误分类概率几乎必然收敛到一个仅依赖于类别统计量和比值 $ p/n $ 的确定性极限。
• 当类别均值差为 $ O(1) $ 量级时，R-LDA 可实现完美分类；而 R-QDA 需要均值差达到 $ O(\sqrt{p}) $ 量级才能实现非平凡性能。
• R-QDA 分类器同时利用了均值和协方差差异，但其性能对协方差差异矩阵的谱范数极为敏感，该范数必须随 $ \sqrt{p} $ 增长。
• 所提出的误分类率 G-估计器在 USPS 数据集上的预测结果与实际测试误差高度吻合，且在多个 $ n_0 $ 和 $ p $ 设置下均得到验证。
• 对于 USPS 数据集，两阶段优化方法成功识别出最优 $ \gamma $，当 $ n_0 = 400 $ 且 $ p = 100 $ 时，R-QDA 实现了最低 0.009 的测试误差。
• 结果揭示了一个根本性差异：R-LDA 主要依赖于均值差异，而 R-QDA 需要在均值和协方差上均具备更强信号，才能在高维设置下超越 R-LDA。