[论文解读] Computing maximum likelihood estimates in recursive linear models with correlated errors

Mathias Drton, Michael Eichler+1 more|arXiv (Cornell University)|Jan 26, 2006

Bayesian Modeling and Causal Inference参考文献 34被引用 39

一句话总结

本文提出残差迭代条件拟合（RICF）算法，用于在具有相关误差的无bow型递归线性模型中计算最大似然估计。RICF仅使用最小二乘计算，确保收敛性，并在可能时提供闭式估计，相较于现有方法在稳定性和可扩展性方面表现更优，尤其适用于包含数十个变量的模型。

ABSTRACT

In recursive linear models, the multivariate normal joint distribution of all variables exhibits a dependence structure induced by a recursive (or acyclic) system of linear structural equations. These linear models have a long tradition and appear in seemingly unrelated regressions, structural equation modelling, and approaches to causal inference. They are also related to Gaussian graphical models via a classical representation known as a path diagram. Despite the models' long history, a number of problems remain open. In this paper, we address the problem of computing maximum likelihood estimates in the subclass of `bow-free' recursive linear models. The term `bow-free' refers to the condition that the errors for variables $i$ and $j$ be uncorrelated if variable $i$ occurs in the structural equation for variable $j$. We introduce a new algorithm, termed Residual Iterative Conditional Fitting (RICF), that can be implemented using only least squares computations. In contrast to existing algorithms, RICF has clear convergence properties and finds parameter estimates in closed form whenever possible.

研究动机与目标

• 为解决在无bow型递归线性模型中计算最大似然估计（MLE）这一长期存在的挑战，特别是针对无bow型子类。
• 开发一种算法，以克服现有软件（如LISREL和R的'sem'包）中常见的收敛问题。
• 提供一种仅使用最小二乘运算计算MLE的方法，确保计算效率和理论收敛性。
• 在存在闭式解的情况下（如有向无环图（DAG）模型），实现参数估计的闭式表达。
• 为未来扩展提供支持，例如通过与EM算法集成，应用于潜变量模型。

提出的方法

• RICF算法通过普通最小二乘（OLS）回归，迭代拟合条件分布的残差。
• 在每一步中，算法将每个变量对其父节点及其子节点的残差进行回归，更新参数估计。
• 该方法利用路径图结构来定义条件独立性和误差相关性约束。
• 采用基于残差的更新机制，确保对数似然单调递增，从而保证收敛性。
• 在DAG模型中，该算法退化为标准OLS；在看似无关回归中，退化为Telser的方法，表明其在各类特例中的一致性。
• 通过对数似然的单调递增性和参数空间的有界性，证明了收敛性。

实验结果

研究问题

• RQ1 能否为无bow型递归线性模型中具有相关误差的MLE计算开发一种稳定且收敛的算法？
• RQ2 RICF算法在收敛性和计算效率方面是否优于现有软件？
• RQ3 在某些模型子类中，能否仅通过最小二乘运算实现MLE的闭式计算？
• RQ4 RICF算法与看似无关回归中的经典方法（如Telser方法）有何关系？
• RQ5 能否通过与EM算法集成，将RICF扩展至潜变量模型？

主要发现

• RICF算法单调收敛至似然函数的局部最大值，其理论保证由定理4.3提供。
• 在有向无环图（DAG）模型中，RICF在单次迭代内即可计算MLE，并与标准OLS回归结果一致。
• 在看似无关回归中，RICF恰好退化为Telser（1964）的算法，证实了其与既定方法的一致性。
• 与LISREL和R的'sem'包不同，RICF在高维或复杂模型中不会出现收敛失败。
• 当模型结构允许时，该算法可实现闭式解，例如在DAG中，通过完成一次残差拟合循环即可实现。
• 该方法计算高效，可扩展至包含数十个变量的模型，如图5所示。