[论文解读] Estimation and Inference for Very Large Linear Mixed Effects Models

Katelyn Gao, A. B. Owen|arXiv (Cornell University)|Oct 25, 2016

Statistical Methods and Bayesian Inference参考文献 19被引用 5

一句话总结

本文提出了一种适用于具有交叉随机效应的超大规模线性混合效应模型的可扩展矩估计方法，通过迭代估计固定效应和方差成分，实现 O(N) 的计算成本。该方法确保了回归系数和方差成分的一致性与渐近正态性，并提供有效的方差估计，从而在无需参数假设或收敛诊断的情况下，实现大数据环境下的高效推断。

ABSTRACT

Linear mixed models with large imbalanced crossed random effects structures pose severe computational problems for maximum likelihood estimation and for Bayesian analysis. The costs can grow as fast as $N^{3/2}$ when there are N observations. Such problems arise in any setting where the underlying factors satisfy a many to many relationship (instead of a nested one) and in electronic commerce applications, the N can be quite large. Methods that do not account for the correlation structure can greatly underestimate uncertainty. We propose a method of moments approach that takes account of the correlation structure and that can be computed at O(N) cost. The method of moments is very amenable to parallel computation and it does not require parametric distributional assumptions, tuning parameters or convergence diagnostics. For the regression coefficients, we give conditions for consistency and asymptotic normality as well as a consistent variance estimate. For the variance components, we give conditions for consistency and we use consistent estimates of a mildly conservative variance estimate. All of these computations can be done in O(N) work. We illustrate the algorithm with some data from Stitch Fix where the crossed random effects correspond to clients and items.

研究动机与目标

• 解决在具有交叉随机效应的大规模线性混合模型中，最大似然法与贝叶斯方法计算不可行的问题。
• 克服在电商及其他大数据应用中常见的大规模非平衡数据场景下，传统方法 O(N^{3/2}) 的计算复杂度。
• 开发一种在将计算成本降低至 O(N) 的同时保持统计精度的方法，从而实现在极大数据集上的实际推断。
• 在无需参数假设的前提下，为固定效应（β）和方差成分（σ²_A, σ²_B, σ²_E）提供一致且渐近正态的估计。
• 利用一致且保守的公式，为 β 和方差成分提供可靠的方差估计，适用于具有非高斯误差的现实世界数据。

提出的方法

• 提出一种两步交替矩方法：首先利用基于模型条件期望结构的矩条件估计 β，然后利用二阶矩条件估计方差成分。
• 使用 β 的有限样本方差公式，代入 σ²_A、σ²_B 和 σ²_E 的一致估计，确保无需渐近近似即可实现有效推断。
• 基于 Gao 和 Owen (2017) 的方法，采用温和保守的方差成分估计器，即使在高斯假设不成立时也能保持稳健性。
• 通过利用交叉随机效应的结构并避免对大小为 (R+C)³ 的矩阵进行求逆，实现 O(N) 的计算复杂度。
• 利用矩估计器的模块化结构，支持并行计算，从而在分布式系统中提升可扩展性。
• 避免调参、收敛诊断和分布假设，使该方法在实际部署中更具鲁棒性且易于使用。

实验结果

研究问题

• RQ1 矩方法能否在具有交叉随机效应的超大规模线性混合模型中，为固定效应和方差成分提供一致且渐近正态的估计？
• RQ2 此类方法的计算成本是多少？与传统方法的 O(N^{3/2}) 成本相比，其是否能实现与观测数 N 的线性可扩展性？
• RQ3 在 β 和方差成分的均方误差方面，矩方法的统计效率与最大似然估计相比如何？
• RQ4 能否在不依赖参数假设或收敛诊断的前提下，为 β 和方差成分构建有效的方差估计？
• RQ5 当误差分布非高斯时，该方法是否仍保持可靠性，而基于似然的方差估计可能失效？

主要发现

• 该方法实现 O(N) 的计算成本和 O(R + C) 的内存使用，使得处理 N > 10^6 个观测值的数据集成为可能。
• β 的估计量是一致且渐近正态的，其方差估计基于使用一致方差成分估计的精确有限样本公式。
• 对于方差成分 σ²_A 和 σ²_B，该矩方法的均方误差几乎与最大似然估计相当，表明其具有很高的效率。
• 与 MLE 相比，该方法在 β 和 σ²_E 上的效率略有损失，但这一损失被计算成本的显著降低所抵消。
• 在非高斯误差分布下，该方法仍保持有效性，而基于似然的方差估计可能不一致，因此具有更强的鲁棒性。
• 有效样本量由 1/√ε 决定，其中 ε = max(ε_R, ε_C)，表明在稀疏或不平衡设计中，有效样本量的解释应偏保守。