[論文レビュー] Computing maximum likelihood estimates in recursive linear models with correlated errors

Mathias Drton, Michael Eichler+1 more|arXiv (Cornell University)|Jan 26, 2006

Bayesian Modeling and Causal Inference参考文献 34被引用数 39

ひとこと要約

本稿では、相関誤差を伴うbow-freeな再帰的線形モデルにおける最尤推定値を計算するための、残差反復的条件付き適合（RICF）アルゴリズムを提案する。RICFは最小二乗計算のみを用い、収束を保証し、可能な場合には閉形式の推定値を提供する。変数が数十個程度のモデルにおいて、従来の手法に比べて安定性とスケーラビリティに優れる。

ABSTRACT

In recursive linear models, the multivariate normal joint distribution of all variables exhibits a dependence structure induced by a recursive (or acyclic) system of linear structural equations. These linear models have a long tradition and appear in seemingly unrelated regressions, structural equation modelling, and approaches to causal inference. They are also related to Gaussian graphical models via a classical representation known as a path diagram. Despite the models' long history, a number of problems remain open. In this paper, we address the problem of computing maximum likelihood estimates in the subclass of `bow-free' recursive linear models. The term `bow-free' refers to the condition that the errors for variables $i$ and $j$ be uncorrelated if variable $i$ occurs in the structural equation for variable $j$. We introduce a new algorithm, termed Residual Iterative Conditional Fitting (RICF), that can be implemented using only least squares computations. In contrast to existing algorithms, RICF has clear convergence properties and finds parameter estimates in closed form whenever possible.

研究の動機と目的

• 相関誤差を伴う再帰的線形モデル、特にbow-freeな部分クラスにおいて、最尤推定値（MLE）を計算するという長年の課題に取り組む。
• LISREL や R の 'sem' パッケージで一般的に見られる収束問題を克服するアルゴリズムを開発する。
• 最小二乗操作のみを用いてMLEを計算する手法を提供し、計算効率と理論的収束性を保証する。
• 例えば有向非巡回グラフ（DAG）モデルのような場合に、閉形式のパrameter推定値を可能にする。
• 将来の拡張を支援する。例えば、潜在変数モデルへの応用のため、EMアルゴリズムと統合することを想定する。

提案手法

• RICFアルゴリズムは、通常最小二乗（OLS）回帰を用いて、条件付き分布からの残差を繰り返し適合する。
• 各ステップで、各変数をその親および子の残差に対して回帰し、パrameter推定値を更新する。
• この手法は、経路図の構造を活用して、条件付き独立性と誤差相関の制約を定義する。
• 対数尤度の単調増加を保証する残差ベースの更新スキームを用いることで、収束を保証する。
• DAGモデルでは標準的OLSに還元され、疑似独立回帰（seemingly unrelated regressions）ではTelserの手法に一致し、特殊ケースにおいて一貫性を示す。
• パrameter空間の有界性と対数尤度の単調増加を用いて、収束を理論的に証明する。

実験結果

リサーチクエスチョン

• RQ1 相関誤差を伴うbow-freeな再帰的線形モデルにおける最尤推定値計算に、安定かつ収束するアルゴリズムを開発することは可能か？
• RQ2 RICFアルゴリズムは、収束性と計算効率の面で、既存のソフトウェアを上回るか？
• RQ3 特定のモデルサブクラスでは、最小二乗操作のみを用いてMLEを閉形式で計算できるか？
• RQ4 RICFアルゴリズムは、疑似独立回帰の古典的手法（Telserの手法）とどのように関係するか？
• RQ5 RICFは、EMアルゴリズムと統合することで、潜在変数モデルに拡張可能か？

主な発見

• RICFアルゴリズムは、対数尤度関数の局所的最大値へ単調に収束し、定理4.3により理論的保証が与えられる。
• 有向非巡回グラフ（DAG）モデルでは、RICFは1回の反復でMLEを計算し、標準的OLS回帰の結果と一致する。
• 疑似独立回帰では、RICFは正確にTelser（1964）のアルゴリズムに還元され、既存の手法と一貫性を確認する。
• LISREL や R の 'sem' パッケージとは異なり、RICFは高次元または複雑なモデルでも収束失敗を起こさない。
• モデル構造が許容する場合には、例えばDAGにおいては、単一の残差適合サイクルを完了することで閉形式解が得られる。
• 計算が効率的であり、図5で示されるように、数10個の変数を含むモデルにもスケーリング可能である。