[论文解读] High-dimensional Linear Discriminant Analysis: Optimality, Adaptive Algorithm, and Missing Data

Tommaso Cai, Linjun Zhang|arXiv (Cornell University)|Apr 9, 2018

Statistical Methods and Inference参考文献 12被引用 11

一句话总结

本论文通过自适应约束ℓ1最小化，提出了一种高维线性判别分析的最优、无需调参的分类规则，实现了收敛速率的极小化最优。此外，该研究在完全随机缺失（MCAR）数据下建立了分类的理论保证，提出了一种鲁棒的自适应分类器，并推导了完整数据与不完整数据设置下的紧致极小化下界。

ABSTRACT

This paper aims to develop an optimality theory for linear discriminant analysis in the high-dimensional setting. A data-driven and tuning free classification rule, which is based on an adaptive constrained $\ell_1$ minimization approach, is proposed and analyzed. Minimax lower bounds are obtained and this classification rule is shown to be simultaneously rate optimal over a collection of parameter spaces. In addition, we consider classification with incomplete data under the missing completely at random (MCR) model. An adaptive classifier with theoretical guarantees is introduced and optimal rate of convergence for high-dimensional linear discriminant analysis under the MCR model is established. The technical analysis for the case of missing data is much more challenging than that for the complete data. We establish a large deviation result for the generalized sample covariance matrix, which serves as a key technical tool and can be of independent interest. An application to lung cancer and leukemia studies is also discussed.

研究动机与目标

• 建立高维线性判别分析的极小化最优分类规则。
• 通过自适应约束ℓ1最小化，开发一种数据驱动、无需调参的分类方法。
• 将最优性理论扩展至完全随机缺失（MCAR）数据下的高维分类问题。
• 推导完整数据与不完整数据场景下过失误分类风险的极小化下界。
• 为具有稀疏判别方向的一般高斯模型下的所提分类器提供理论保证。

提出的方法

• 提出一种自适应约束ℓ1最小化方法，直接估计判别方向β = Ωδ，避免对Σ和δ的单独估计。
• 采用数据驱动的阈值策略，避免调参，提升实用性。
• 建立广义样本协方差矩阵的大偏差结果，作为分析不完整数据的关键技术工具。
• 构建参数空间G(s, Mn,p)，以捕捉稀疏性（‖β‖₀ ≤ s）、特征值约束及信噪比∆ ∈ [Mn,p, 3Mn,p]。
• 应用Fano引理与Le Cam方法，推导估计误差与分类风险的极小化下界。
• 考虑一种特定的MCAR缺失模式S₀，其中前n₀个样本完全可观测，从而将不完整数据问题简化为n₀个样本的完整数据问题。

实验结果

研究问题

• RQ1 在一般高斯模型下，高维线性判别分析的过失误分类风险的最优收敛速率是什么？
• RQ2 在高维设置下，能否实现数据驱动、无需调参的分类规则并达到极小化最优性？
• RQ3 在MCAR模型下，缺失数据的存在如何影响高维LDA的极小化收敛速率？
• RQ4 当数据不完整且维度较大时，分类误差的根本极限（极小化下界）是什么？
• RQ5 能否设计一种单一分类器，使其在不同高维参数空间中同时达到最优速率？

主要发现

• 所提出的自适应约束ℓ1最小化规则在参数空间集合G(s, Mn,p)的整个族中均达到速率最优。
• 判别方向β估计误差的极小化下界为Mn,p√(s log p / n)量级，确立了估计的根本极限。
• 在完整数据情况下，过失误分类风险的极小化下界为Mn,p⁻¹ exp(−Mn,p²/8) √(s log p / n)量级，与上界仅相差对数因子。
• 在MCAR模型下，当有n₀个样本可观测时，过失误分类风险的极小化下界为Mn,p⁻¹ exp(−(1/8 + δ)Mn,p²) √(s log p / n₀)量级，其中δ > 0任意。
• 当Mn,p有界时，下界简化为Cα e⁻¹/⁸ Mn,p⁻¹ √(s log p / n₀)，显示出信噪比的指数衰减。
• 建立了广义样本协方差矩阵大偏差的技术结果，该结果对高维推断具有独立兴趣。