[论文解读] A Convex Optimization Approach to High-Dimensional Sparse Quadratic Discriminant Analysis

Tommaso Cai, Linjun Zhang|arXiv (Cornell University)|Dec 5, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用 5

一句话总结

本文提出SDAR，一种基于凸优化的高维稀疏二次判别分析（QDA）方法，直接在稀疏性约束下估计判别方向与差异图。该方法在分类误差率上建立了几乎最优的理论结果（仅差一个对数因子），并结合理论保证与前列腺癌及结肠组织数据的实证验证。

ABSTRACT

In this paper, we study high-dimensional sparse Quadratic Discriminant Analysis (QDA) and aim to establish the optimal convergence rates for the classification error. Minimax lower bounds are established to demonstrate the necessity of structural assumptions such as sparsity conditions on the discriminating direction and differential graph for the possible construction of consistent high-dimensional QDA rules. We then propose a classification algorithm called SDAR using constrained convex optimization under the sparsity assumptions. Both minimax upper and lower bounds are obtained and this classification rule is shown to be simultaneously rate optimal over a collection of parameter spaces, up to a logarithmic factor. Simulation studies demonstrate that SDAR performs well numerically. The algorithm is also illustrated through an analysis of prostate cancer data and colon tissue data. The methodology and theory developed for high-dimensional QDA for two groups in the Gaussian setting are also extended to multi-group classification and to classification under the Gaussian copula model.

研究动机与目标

• 解决当维度p超过样本量n时，高维稀疏QDA缺乏最优且理论基础坚实的方法的问题。
• 建立极小最大下界，证明对判别方向与差异图施加稀疏性假设的必要性。
• 提出一种分类规则SDAR，在这些结构假设下实现最优收敛速率。
• 将该方法扩展至多组分类及高斯Copula模型，超越高斯设定。
• 提供理论与实证证据，证明所提方法的最优性与实际性能。

提出的方法

• 将QDA决策规则重新表述为判别方向β = Ω₂δ与差异图D = Ω₂ − Ω₁的形式，将问题简化为对这两个分量的估计。
• 提出SDAR作为约束凸优化过程，通过ℓ₁惩罚约束同时估计D与β以实现稀疏性。
• 采用约束ℓ₁最小化估计精度矩阵与判别方向，确保计算可及性与稀疏性。
• 基于估计的β与D推导分类规则，形成数据驱动的分类器，避免直接估计所有协方差参数。
• 通过极小最大上界与下界建立理论收敛速率，证明其在对数因子范围内最优。
• 利用相似的凸优化原理，将该框架扩展至多组QDA与高斯Copula模型。

实验结果

研究问题

• RQ1 在稀疏性假设下，高维稀疏QDA的分类误差的极小最大下界是什么？
• RQ2 基于凸优化的方法能否实现高维稀疏QDA的最优收敛速率？
• RQ3 所提出的SDAR分类器是否在一系列稀疏参数空间中均表现最优？
• RQ4 该方法在真实世界高维数据（如基因表达数据集）上的实际表现如何？
• RQ5 该框架能否扩展至多组分类及非高斯模型（如高斯Copula模型）？

主要发现

• 本文建立了极小最大下界，证明对判别方向与差异图施加稀疏性假设是高维QDA中实现一致分类的必要条件。
• SDAR在一系列稀疏参数空间中实现了分类误差率的极小最大最优性（仅差一个对数因子）。
• 理论分析表明，SDAR的收敛速率与极小最大下界一致，证实其在高维情形下的最优性。
• 模拟研究显示，SDAR在数值上表现良好，具有稳定且低的分类误差率。
• 在前列腺癌与结肠组织数据上的实证分析表明，SDAR能有效识别相关特征，并实现具有竞争力的分类准确率。
• 该方法成功扩展至多组分类与高斯Copula模型，保持理论与实证有效性。