[논문 리뷰] Computing maximum likelihood estimates in recursive linear models with correlated errors

Mathias Drton, Michael Eichler외 1명|arXiv (Cornell University)|2006. 01. 26.

Bayesian Modeling and Causal Inference참고 문헌 34인용 수 39

한 줄 요약

이 논문은 오차가 상관된 bow-free 순환 선형 모델에서 최대우도추정치(MLE)를 계산하기 위한 잔차 반복 조건부 적합(RICF) 알고리즘을 제안한다. RICF는 최소제곱 계산만을 사용하며 수렴성을 보장하고, 가능한 경우 닫힌 형태의 추정치를 제공한다. 이는 수십 개의 변수를 포함한 모델에서 기존 방법보다 안정성과 확장성 면에서 뛰어나다.

ABSTRACT

In recursive linear models, the multivariate normal joint distribution of all variables exhibits a dependence structure induced by a recursive (or acyclic) system of linear structural equations. These linear models have a long tradition and appear in seemingly unrelated regressions, structural equation modelling, and approaches to causal inference. They are also related to Gaussian graphical models via a classical representation known as a path diagram. Despite the models' long history, a number of problems remain open. In this paper, we address the problem of computing maximum likelihood estimates in the subclass of `bow-free' recursive linear models. The term `bow-free' refers to the condition that the errors for variables $i$ and $j$ be uncorrelated if variable $i$ occurs in the structural equation for variable $j$. We introduce a new algorithm, termed Residual Iterative Conditional Fitting (RICF), that can be implemented using only least squares computations. In contrast to existing algorithms, RICF has clear convergence properties and finds parameter estimates in closed form whenever possible.

연구 동기 및 목표

• bow-free 부분집합에서 오차가 상관된 순환 선형 모델에서 최대우도추정치(MLE)를 계산하는 데 오랫동안 해결되지 않은 과제를 해결하기 위해.
• LISREL 및 R의 'sem' 패키지와 같은 기존 소프트웨어에서 흔히 발생하는 수렴 문제를 극복하는 알고리즘을 개발하기 위해.
• 최소제곱 연산만을 사용하여 MLE를 계산함으로써 계산 효율성과 이론적 수렴성을 보장하는 방법을 제공하기 위해.
• 예를 들어 방향성 비순환 그래프(DAG) 모델에서와 같이 닫힌 형태의 매개변수 추정치가 존재하는 경우에 이를 가능하게 하기 위해.
• 미래의 확장, 예를 들어 잠재변수 모델에 대한 EM 알고리즘 통합을 지원하기 위해.

제안 방법

• RICF 알고리즘은 일반 최소제곱(OLS) 회귀를 사용하여 조건부 분포의 잔차를 반복적으로 적합한다.
• 각 단계에서 알고리즘은 각 변수를 그 부모 변수와 자식 변수의 잔차에 대해 회귀분석하여 매개변수 추정치를 갱신한다.
• 이 방법은 경로도의 구조를 활용하여 조건부 독립성과 오차 상관 구조 제약 조건을 정의한다.
• 로그우도가 단조롭게 증가하도록 보장하는 잔차 기반 갱신 방식을 사용하여 수렴성을 보장한다.
• 이 알고리즘은 DAG 모델에서는 표준 OLS로 축소되며, 상호의존 회귀 모델에서는 Telser의 방법으로 축소되어 특수 케이스에서의 일관성을 보여준다.
• 로그우도의 단조 증가성과 매개변수 공간의 유계성에 기반하여 수렴성이 증명된다.

실험 결과

연구 질문

• RQ1 오차가 상관된 bow-free 순환 선형 모델에서 최대우도추정치(MLE) 계산을 위한 안정적이고 수렴하는 알고리즘이 개발될 수 있는가?
• RQ2 RICF 알고리즘이 기존 소프트웨어보다 수렴성과 계산 효율성 면에서 뛰어나게 되는가?
• RQ3 일부 모델 하위집합에서는 최소제곱 연산만을 사용하여 MLE를 닫힌 형태로 계산할 수 있는가?
• RQ4 RICF 알고리즘은 상호의존 회귀 모델에 대해 고전적 방법인 Telser의 방법과 어떻게 관련이 있는가?
• RQ5 RICF는 잠재변수 모델에 대한 EM 알고리즘 통합을 통해 확장될 수 있는가?

주요 결과

• RICF 알고리즘은 로그우도 함수의 국소 최대값으로 단조롭게 수렴하며, 이는 정리 4.3에 의해 이론적으로 보장된다.
• 방향성 비순환 그래프(DAG) 모델에서는 RICF가 단일 반복 내에서 MLE를 계산하고 표준 OLS 회귀 결과와 정확히 일치한다.
• 상호의존 회귀 모델에서는 RICF가 정확히 Telser(1964)의 알고리즘으로 축소되며, 기존 방법과의 일관성을 확인한다.
• LISREL 및 R의 'sem' 패키지와 달리, RICF는 고차원적이거나 복잡한 모델에서 수렴 실패 문제를 겪지 않는다.
• 모델 구조가 允許하는 경우, 예를 들어 DAG에서 RICF는 단일 잔차 적합 사이클을 완료함으로써 닫힌 형태의 해를 달성한다.
• 이 방법은 계산적으로 효율적이며 수십 개의 변수를 포함한 모델로도 확장 가능하며, 그림 5에서 이를 입증하고 있다.