[论文解读] Dimensionality determination: a thresholding double ridge ratio criterion

Xuehu Zhu, Tao Wang+1 more|arXiv (Cornell University)|Aug 16, 2016

Statistical Methods and Inference参考文献 30被引用 9

一句话总结

本文提出了一种阈值化双岭比准则，以改进在充分维数缩减、因子模型和回归中的维数确定问题，解决了由主导特征值引起的长期存在的维数低估问题。该方法即使在存在多个局部极小值的情况下，也能一致地估计真实维数，通过一种稳健的基于比率的阈值化方法，优于基于特征分解的现有准则。

ABSTRACT

Popularly used eigendecomposition-based criteria such as BIC type, ratio estimation and principal component-based criterion often underdetermine model dimensionality for regressions or the number of factors for factor models. This longstanding problem is caused by the existence of one or two dominating eigenvalues compared to other nonzero eigenvalues. To alleviate this difficulty, we propose a thresholding double ridge ratio criterion such that the true dimension can be better identified and is less underdetermined. Unlike all existing eigendecomposition-based criteria, this criterion can define consistent estimate without requiring the uniqueness of minimum and can then handle possible multiple local minima scenarios. This generic strategy would be readily applied to other dimensionality or order determination problems. In this paper, we systematically investigate, for general sufficient dimension reduction theory, the dimensionality determination with fixed and divergent dimensions; for local alternative models that converge to its limiting model with fewer projected covariates, discuss when the number of projected covariates can be consistently estimated, when cannot; and for ultra-high dimensional factor models, study the estimation consistency for the number of common factors. Numerical studies are conducted to examine the finite sample performance of the method.

研究动机与目标

• 解决在充分维数缩减、因子模型和回归中基于特征分解的准则在维数选择时长期存在的维数低估问题。
• 克服现有方法在单个或两个特征值主导其他特征值时失效的局限性，从而导致估计不一致的问题。
• 开发一种通用且一致的准则，无需依赖最小值的唯一性，且能处理维数估计中的多个局部极小值。
• 在固定维数和发散维数设定下，包括局部替代模型和超高维因子模型，建立该方法的理论一致性。
• 通过数值实验验证该方法在多样化高维设定下的有限样本性能。

提出的方法

• 提出双岭比准则，将特征值转换为基于比率的统计量，以增强对结构维数变化的敏感性。
• 引入一种阈值化机制，防止虚假的局部极小值被选为估计的维数。
• 采用两阶段变换：首先计算特征值的岭比，然后对所得比率应用阈值化处理，以识别真实维数。
• 通过渐近分析表明，该准则以概率收敛至一种明确的模式：在真实维数之前，比值接近零；在真实维数处，比值趋于无穷大；在真实维数之后，比值接近一。
• 引入调参 $ c_{1n} $ 和 $ c_{2n} $ 以稳定比率估计，并确保在不同样本规模下的一致性。
• 利用函数 $ x/(1+x) $ 的单调性，推导变换后特征值及其比值的渐近行为。

实验结果

研究问题

• RQ1 当主导特征值扭曲现有方法时，能否提出一种新准则，一致地估计充分维数缩减中的结构维数？
• RQ2 如何使维数确定对准则曲面上的多个局部极小值具有鲁棒性？
• RQ3 在何种条件下，阈值化双岭比准则能一致地估计超高维因子模型中的共同因子数量？
• RQ4 当真实模型收敛至具有更少投影协变量的简化局部替代模型时，该方法是否仍能保持一致性？
• RQ5 与BIC型和基于比率的准则相比，所提出方法的有限样本性能特征是什么？

主要发现

• 所提出的阈值化双岭比准则在样本量增大时，以概率趋于1一致地估计真实维数 $ q $。
• 通过阈值化收敛至零或无穷大的比率，该方法成功避免了选择虚假的局部极小值，确保仅真实维数被选中。
• 对于收敛至更简单模型的局部替代模型，若收敛速率足够慢，该方法可一致地估计投影协变量的数量。
• 在超高维因子模型中，通过适当选择调参，该方法能对共同因子数量实现估计一致性。
• 数值研究证实，与BIC型和基于比率的准则相比，该方法在有限样本下表现更优，尤其在存在主导特征值的情境中。
• 理论分析证实，比值 $ \frac{\hat{s}^{*}_{(j+1)} + c_{2n}}{\hat{s}^{*}_{j} + c_{2n}} $ 在真实维数之后收敛至大于 $ \tau $ 的值，而在真实维数之前收敛至小于 $ \tau $ 的值，从而实现正确阈值化。