[论文解读] Principal Components and Regularized Estimation of Factor Models

Jushan Bai, Serena Ng|arXiv (Cornell University)|Aug 27, 2017

Spatial and Panel Data Analysis参考文献 33被引用 13

一句话总结

该论文提出了一种基于迭代岭回归的奇异值阈值化正则化因子模型估计方法，通过收缩奇异值以实现对公共成分的最小秩逼近。关键贡献在于提出了一种数据依赖的惩罚项用于因子选择，增强了对弱因子和测量噪声的鲁棒性，并通过渐近理论支持在载荷线性约束下的统计推断。

ABSTRACT

It is known that the common factors in a large panel of data can be consistently estimated by the method of principal components, and principal components can be constructed by iterative least squares regressions. Replacing least squares with ridge regressions turns out to have the effect of shrinking the singular values of the common component and possibly reducing its rank. The method is used in the machine learning literature to recover low-rank matrices. We study the procedure from the perspective of estimating a minimum-rank approximate factor model. We show that the constrained factor estimates are biased but can be more efficient in terms of mean-squared errors. Rank consideration suggests a data-dependent penalty for selecting the number of factors. The new criterion is more conservative in cases when the nominal number of factors is inflated by the presence of weak factors or large measurement noise. The framework is extended to incorporate a priori linear constraints on the loadings. We provide asymptotic results that can be used to test economic hypotheses.

研究动机与目标

• 开发一个统计上合理的正则化因子估计框架，以增强对弱因子和测量噪声的鲁棒性。
• 通过引入岭回归扩展主成分方法，对奇异值进行收缩，降低公共成分的秩。
• 提出一种数据依赖的惩罚准则，用于选择因子数量，当弱因子或噪声导致名义因子数被高估时，该准则更具保守性。
• 为通过载荷上的广义线性约束测试经济假设，提供一个频率学推断框架，无论是否存在秩约束。
• 在正则化模型下建立因子和载荷估计的渐近分布，从而支持有效的统计推断。

提出的方法

• 使用迭代岭回归而非最小二乘法来估计因子载荷和得分，从而在公共成分中诱导奇异值的收缩。
• 应用奇异值阈值化（SVT）将较小的奇异值设为零，从而生成数据矩阵的低秩逼近。
• 将估计器定义为一个正则化优化问题的解，该问题通过Tikhonov型惩罚项最小化Frobenius范数，对因子和载荷均施加惩罚。
• 通过Lagrangian松弛方法引入载荷的先验线性约束，从而导出一种带有偏差校正的修正估计器。
• 在正则化模型下推导因子和载荷估计的渐近分布，从而支持标准误估计和假设检验。
• 提出一种新的因子选择准则，结合Bai和Ng（2002）的确定性惩罚项与反映最小秩需求的数据依赖项。

实验结果

研究问题

• RQ1 通过岭回归实现的奇异值阈值化能否在大型因子模型中产生更高效且更鲁棒的公共因子成分估计？
• RQ2 正则化如何影响因子估计中的偏差-方差权衡？在何种条件下正则化估计器更具效率？
• RQ3 能否构建一种数据依赖的惩罚项，以在弱因子或高测量噪声存在时改善因子选择？
• RQ4 如何在保持推断有效性的同时，将载荷上的广义线性约束整合到正则化因子模型中？
• RQ5 正则化因子和载荷估计的渐近分布是什么？它们如何用于假设检验？

主要发现

• 正则化因子估计具有偏差，但在真实秩较低时，其均方误差可低于标准主成分估计。
• 所提出的用于因子选择的数据依赖惩罚项比现有准则更具保守性，可有效减少因弱因子或噪声导致的因子数高估。
• 因子和载荷估计器的渐近正态性已得到证明，且一致的方差估计器可支持标准误计算与假设检验。
• 正则化估计器的偏差源于奇异值的收缩，其形式可明确表示为正则化参数与总体奇异值的函数。
• 该方法支持通过载荷上的广义线性约束进行经济假设检验，且在无约束与秩约束模型下均推导出渐近分布。
• 该框架可通过SVT实现数据矩阵的低秩分解，并在参数假设下提供收敛速率的理论保证。