[论文解读] Main and Interaction Effects Selection for Quadratic Discriminant Analysis via Penalized Linear Regression

Deqiang Zheng, Jinzhu Jia+2 more|arXiv (Cornell University)|Feb 15, 2017

Statistical Methods and Inference参考文献 23被引用 9

一句话总结

本文提出CAP-SQDA，一种用于二分类中二次判别分析（QDA）的惩罚线性回归方法，可同时选择主效应和交互效应。通过在变换后的最小二乘优化中应用复合绝对惩罚（CAP），该方法利用坐标下降实现稀疏QDA估计，在变量选择稀疏性和分类准确度方面优于现有方法（如IIS-SQDA和基于BIC的方法）。

ABSTRACT

Discriminant analysis is a useful classification method. Variable selection for discriminant analysis is becoming more and more im- portant in a high-dimensional setting. This paper is concerned with the binary-class problems of main and interaction effects selection for the quadratic discriminant analysis. We propose a new penalized quadratic discriminant analysis (QDA) for variable selection in binary classification. Under sparsity assumption on the relevant variables, we conduct a penalized liner regression to derive sparse QDA by plug- ging the main and interaction effects in the model. Then the QDA problem is converted to a penalized sparse ordinary least squares op- timization by using the composite absolute penalties (CAP). Coor- dinate descent algorithm is introduced to solve the convex penalized least squares. The penalized linear regression can simultaneously se- lect the main and interaction effects, and also conduct classification. Compared with the existing methods of variable selection in QDA, the extensive simulation studies and two real data analyses demon- strate that our proposed method works well and is robust in the performance of variable selection and classification.

研究动机与目标

• 解决高维变量选择在二分类二次判别分析（QDA）中的挑战，特别是当预测变量数量超过样本量时。
• 开发一种在稀疏性假设下同时选择相关主效应和交互效应的方法。
• 相比现有惩罚QDA方法，提升分类准确度和变量选择效率。
• 减少对强正态性假设的依赖，避免在非高斯设定下性能下降。

提出的方法

• 通过复合绝对惩罚（CAP）将稀疏QDA问题转化为惩罚稀疏普通最小二乘优化。
• 在惩罚线性回归框架下，通过正则化联合选择主效应和交互效应。
• 使用坐标下降算法高效求解CAP正则化最小二乘公式产生的凸优化问题。
• 实施两步程序：第一步，通过CAP进行模型变换；第二步，通过迭代坐标优化估计稀疏系数。
• 采用复合绝对惩罚，鼓励组稀疏性，当相关时倾向于整组选择交互项。
• 通过将所选主效应和交互效应代入判别规则，推导出稀疏QDA，实现分类。

实验结果

研究问题

• RQ1 统一的惩罚回归框架是否能在高维设定下有效选择QDA中的主效应和交互效应？
• RQ2 与现有方法（如IIS-SQDA和基于BIC的方法）相比，所提方法在变量选择和分类准确度方面的表现如何？
• RQ3 当基础数据偏离多元正态分布时，CAP-SQDA方法是否仍保持鲁棒性？
• RQ4 该方法在多大程度上减少了所选效应的数量，同时保持分类准确度？
• RQ5 该方法能否根据数据结构自适应地在稀疏LDA和稀疏QDA之间进行选择？

主要发现

• 在帕金森病数据中，CAP-SQDA在100次划分中平均仅选择4.98个变量和效应，显著少于IIS-SQDA的20.94个效应。
• 在乳腺癌数据集中，CAP-SQDA的误分类率为8.85%，仅选择22.48个总效应，优于IIS-SQDA（误分类率6.39%，但选择50.80个效应）。
• CAP-SQDA在分类准确度与IIS-SQDA相当的同时，将所选效应数量减少近一半，展现出更优的稀疏性。
• 在变量选择稀疏性方面，CAP-SQDA优于基于BIC的方法，在帕金森病数据中平均仅选择4.44个主效应和2.12个交互效应。
• 在两个真实数据应用中，CAP-SQDA在保持高分类准确度的同时实现了最简练的模型，表明其具有强大的鲁棒性和效率。
• 该方法表现出自适应能力，能自动在稀疏LDA和稀疏QDA结构之间选择，如在乳腺癌数据集中所选交互效应数量极低所示。