[论文解读] Fast and Feasible Estimation of Generalized Linear Models with High-Dimensional k-way Fixed Effects

Amrei Stammann|arXiv (Cornell University)|Jul 6, 2017

Control Systems and IdentificationEngineering被引用 20

一句话总结

本文提出了一种快速、内存高效的算法，用于在高维k重固定效应下估计广义线性模型（GLMs），该方法结合牛顿-拉夫森框架、加权弗里施-沃尔夫-洛维尔定理与交替投影法。通过迭代地消除固定效应，该方法实现了对逻辑斯蒂、 probit 和泊松模型中复杂固定效应结构的可行估计，达到近乎完美的精度，并在运行速度上相比虚拟变量方法有数量级的提升。

ABSTRACT

We present a fast and memory efficient algorithm for the estimation of generalized linear models with an additive separable k-way error component. The brute force approach uses dummy variables to account for the unobserved heterogeneity, but quickly faces computational limits. Thus, we show how a weighted version of the Frisch-Waugh-Lovell theorem combined with the method of alternating projections can be incorporated into a Newton-Raphson algorithm to dramatically reduce the computational costs. The algorithm is especially useful in situations, where generalized linear models with k-way fixed effects based on dummy variables are computationally demanding or even infeasible due to time or memory limitations. In a simulation study and an empirical application we demonstrate the performance of our algorithm.

研究动机与目标

• 解决使用标准虚拟变量方法在高维k重固定效应下估计广义线性模型时计算不可行的问题。
• 将此前仅限于线性模型的高效固定效应估计方法扩展至广义线性模型框架。
• 开发一种内存与时间效率高的算法，确保对逻辑斯蒂、probit 和泊松模型保持高数值精度。
• 使在大型面板数据集中对复杂固定效应模型进行实际估计成为可能，例如劳动经济学和贸易计量经济学中的数据。
• 为高维设置下提供一种稳健、可扩展的替代方案，以替代暴力型虚拟变量估计方法。

提出的方法

• 在每次牛顿-拉夫森迭代中整合加权弗里施-沃尔夫-洛维尔定理，将固定效应从线性预测器中投影出去。
• 采用交替投影法，迭代地对每个固定效应维度的数据进行去均值处理，从而减轻计算负担。
• 在每次迭代中应用伪去均值步骤，以集中消除固定效应，而无需显式估计它们，从而保持数值效率。
• 使用带有可调容差水平的诺伊曼-哈尔佩林投影，以在速度与精度之间取得平衡。
• 在优化完成后，事后恢复固定效应估计值，避免对大型设计矩阵进行直接求逆。
• 该方法已实现在R包alpaca中，专为非线性GLMs设计，而lfe则已处理线性模型。

实验结果

研究问题

• RQ1 能否为高维k重固定效应下的广义线性模型开发一种计算高效的算法？
• RQ2 与虚拟变量基准相比，使用迭代投影方法估计固定效应的精度如何？
• RQ3 在大型面板数据集中，该算法在多大程度上减少了计算时间和内存使用？
• RQ4 该方法在不同模型设定和数据规模下是否保持数值稳定性和收敛性？
• RQ5 该算法能否推广至不同的GLM族，如逻辑斯蒂、probit 和泊松模型？

主要发现

• 该算法实现了近乎完美的数值精度，在所有测试的N-T组合中，对5位和8位精度的精确度频率达到1.00（100%）。
• 对于16位精度，某些情况下精确度下降至0.00，但这反映了浮点数算术的固有局限性，而非算法失效。
• 当N=200、T=50时，alpaca算法的计算时间始终低于1.5秒，而虚拟变量方法耗时超过140秒。
• alpaca的平均计算时间随样本量呈次线性增长，而虚拟变量方法的计算时间呈二次或更差的增速。
• 该方法在所有测试的GLM族中均保持高精度，包括逻辑斯蒂、probit 和泊松模型，且在多种数据配置下表现一致。
• 该算法使得在大型数据集（如N=200、T=50）中对三重固定效应PPML模型进行估计成为可能，而使用标准虚拟变量方法则不可行。