[论文解读] Discriminant Analysis with Adaptively Pooled Covariance

Noah Simon, Rob Tibshirani|arXiv (Cornell University)|Nov 7, 2011

Face and Expression Recognition参考文献 2被引用 6

一句话总结

该论文提出 ℓ₁-PDA，一种正则化判别分析方法，通过在逆协方差矩阵差异上施加稀疏性约束，自适应地对两类的精度矩阵元素进行合并。通过在精度矩阵差异上使用 ℓ₁ 惩罚，该方法降低了方差（如 LDA 所示），同时避免了强偏差（与 QDA 不同），在样本量适中、维度较高的数据上实现了更高的分类准确率。

ABSTRACT

Linear and Quadratic Discriminant analysis (LDA/QDA) are common tools for classification problems. For these methods we assume observations are normally distributed within group. We estimate a mean and covariance matrix for each group and classify using Bayes theorem. With LDA, we estimate a single, pooled covariance matrix, while for QDA we estimate a separate covariance matrix for each group. Rarely do we believe in a homogeneous covariance structure between groups, but often there is insufficient data to separately estimate covariance matrices. We propose L1- PDA, a regularized model which adaptively pools elements of the precision matrices. Adaptively pooling these matrices decreases the variance of our estimates (as in LDA), without overly biasing them. In this paper, we propose and discuss this method, give an efficient algorithm to fit it for moderate sized problems, and show its efficacy on real and simulated datasets.

研究动机与目标

• 解决在样本量不足以估计每类独立协方差矩阵时的高维分类挑战。
• 克服传统 LDA（同质性假设过于严格）和 QDA（参数过多导致高方差）的局限性。
• 开发一种方法，仅在各类间元素相似时自适应地合并协方差结构元素，从而在不引入过度偏差的情况下降低估计方差。
• 实现对类特定精度矩阵差异的稀疏估计，以识别哪些变量交互作用在不同类间存在差异。
• 提供一种计算高效的算法，使用 ADMM 拟合模型，并具有收敛性保证。

提出的方法

• 通过用 ℓ₁ 惩罚替代精度矩阵差异上的 ℓ₀ 范数，将组合优化问题的非凸问题松弛为凸优化问题。
• 将估计问题表述为带 ℓ₁ 惩罚的负对数似然最小化，该惩罚作用于逆协方差矩阵的差异。
• 使用交替方向乘子法（ADMM）以分块迭代方式收敛地求解非凸问题。
• 推导 ADMM 子问题的闭式更新：协方差更新采用特征分解，精度矩阵差异更新采用软阈值法。
• 将均值与协方差估计解耦：均值参数独立于协方差结构进行估计，简化计算过程。
• 通过 ADMM 算法中的基于特征值的更新，确保估计协方差矩阵的半正定性。

实验结果

研究问题

• RQ1 我们能否通过仅在各类间相关元素上自适应合并精度矩阵，来提升高维设置下的分类性能？
• RQ2 在类特定精度矩阵差异上施加稀疏性，是否能带来比标准 LDA 或 QDA 更高的估计准确率？
• RQ3 我们能否开发一种可扩展且收敛的算法，用于拟合具有精度矩阵差异结构化稀疏性的正则化判别模型？
• RQ4 ℓ₁-PDA 方法在分类误差和变量选择方面，与 RDA 和图模型 Lasso 等现有方法相比表现如何？
• RQ5 该方法在多大程度上能识别出不同类别之间条件独立结构的有意义差异？

主要发现

• 在真实和模拟数据集上，ℓ₁-PDA 的分类误差低于 LDA 和 QDA，尤其当真实精度矩阵仅在少数元素上不同时表现更优。
• 该方法自适应地合并协方差元素，在不强加 LDA 的强同质性假设下有效降低了方差。
• 基于 ADMM 的算法在变量数 p ≈ 100 以内的问题中能可靠且高效地收敛，可处理数万个参数。
• ℓ₁ 惩罚在精度矩阵差异上诱导了稀疏性，使我们能够识别出哪些变量对在不同类间具有不同的条件依赖关系。
• 实证结果表明，在样本量适中且维度较高的设置下，ℓ₁-PDA 优于 RDA 和标准 QDA。
• 该方法提供了一种自然方式来检测和建模不同类别间变量的差异性交互作用，其结果不仅具有分类性能优势，还具备良好的可解释性。