[论文解读] A Two-Stage Penalized Least Squares Method for Constructing Large Systems of Structural Equations

Chen Chen, Min Ren+2 more|arXiv (Cornell University)|Nov 1, 2015

Spectroscopy and Chemometric Analyses被引用 16

一句话总结

本文提出了一种两阶段惩罚最小二乘法，用于构建具有高维内生变量和外生变量的大规模结构方程模型。通过在第一阶段使用岭回归估计条件期望，在第二阶段使用自适应Lasso实现一致的变量选择，该方法实现了模型一致性、计算效率和可并行化，从而能够在基因调控网络等大规模系统中实现可靠的推断。

ABSTRACT

We propose a two-stage penalized least squares method to build large systems of structural equations based on the instrumental variables view of the classical two-stage least squares method. We show that, with large numbers of endogenous and exogenous variables, the system can be constructed via consistent estimation of a set of conditional expectations at the first stage, and consistent selection of regulatory effects at the second stage. While the consistent estimation at the first stage can be obtained via the ridge regression, the adaptive lasso is employed at the second stage to achieve the consistent selection. The resultant estimates of regulatory effects enjoy the oracle properties. This method is computationally fast and allows for parallel implementation. We demonstrate its effectiveness via simulation studies and real data analysis.

研究动机与目标

• 为解决在内生变量和外生变量均为高维时构建大规模结构方程系统所面临的挑战。
• 克服全信息似然方法在高维设置下计算不可行的问题。
• 开发一种方法，以实现在大规模系统中对调控效应和因果效应的一致估计。
• 确保变量选择的一致性与计算可扩展性，适用于基因调控网络推断等应用。

提出的方法

• 该方法采用受经典两阶段最小二乘法（2SLS）启发的两阶段框架。
• 在第一阶段，使用岭回归估计内生变量给定外生变量的条件期望，确保在高维设置下的一致估计。
• 在第二阶段，对估计的回归变量应用自适应Lasso，通过将无关系数收缩至零来实现一致的变量选择。
• 该方法利用工具变量框架，以外生变量作为工具变量，以解决结构方程中的内生性问题。
• 该方法计算高效，并支持在多个方程间并行实现。
• 通过KKT条件和渐近分析建立了理论一致性，表明该方法以高概率恢复真实的模型结构。

实验结果

研究问题

• RQ1 两阶段惩罚最小二乘法能否在内生变量和外生变量均为高维的大规模结构方程系统中，一致估计调控效应和因果效应？
• RQ2 在第一阶段使用岭回归是否能确保在高维设置下对条件期望的一致估计？
• RQ3 在第二阶段使用自适应Lasso能否实现一致的变量选择，从而恢复调控网络的真实稀疏结构？
• RQ4 与全信息似然法或单独方程拟合相比，该方法在计算效率和可扩展性方面表现如何？
• RQ5 该方法在何种理论条件下可实现模型选择一致性和参数估计一致性？

主要发现

• 该方法实现了模型选择一致性，随着样本量增加，估计的调控效应矩阵支持集与真实支持集以高概率匹配。
• 第一阶段的岭回归即使在内生变量和外生变量数量随样本量增长时，也能对简化形式系数提供一致估计。
• 第二阶段的自适应Lasso确保所有非零系数被一致估计，且所有零系数被正确设为零。
• 理论分析证实，该估计量满足KKT条件，并恢复了系数的真实符号模式，意味着正确的变量选择。
• 该方法计算高效，且适合并行实现，适用于大规模系统（如全基因组基因调控网络）。
• 模拟研究和真实数据分析表明，该方法在恢复真实网络结构方面表现有效，并在高维设置下优于现有方法。