[논문 리뷰] Iterative conditional fitting for Gaussian ancestral graph models

Mathias Drton, Thomas S. Richardson|arXiv (Cornell University)|2004. 07. 07.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 28

한 줄 요약

이 논문은 관측되지 않는 변수를 다룰 수 있도록 일반화된 마르코프 무작위장치와 베이지안 네트워크를 포함하는 가우시안 조상 그래프 모델에서 최대우도 추정을 위한 반복 조건부 적합(Iterative Conditional Fitting, ICF) 알고리즘을 제안한다. 이 방법은 고정된 근원 분포를 유지하면서 조건부 분포를 반복적으로 추정함으로써 제약 조건 하에서 일관성을 확보하며, 반복 비례 적합 알고리즘의 이중성을 제공하고 잠재 변수 구조 하에서 강력한 모델 선택을 가능하게 한다.

ABSTRACT

Ancestral graph models, introduced by Richardson and Spirtes (2002), generalize both Markov random fields and Bayesian networks to a class of graphs with a global Markov property that is closed under conditioning and marginalization. By design, ancestral graphs encode precisely the conditional independence structures that can arise from Bayesian networks with selection and unobserved (hidden/latent) variables. Thus, ancestral graph models provide a potentially very useful framework for exploratory model selection when unobserved variables might be involved in the data-generating process but no particular hidden structure can be specified. In this paper, we present the Iterative Conditional Fitting (ICF) algorithm for maximum likelihood estimation in Gaussian ancestral graph models. The name reflects that in each step of the procedure a conditional distribution is estimated, subject to constraints, while a marginal distribution is held fixed. This approach is in duality to the well-known Iterative Proportional Fitting algorithm, in which marginal distributions are fitted while conditional distributions are held fixed.

연구 동기 및 목표

• 데이터 생성 과정에서 관측되지 않는 변수가 존재할 수 있는 가우시안 조상 그래프 모델에 대한 최대우도 추정 방법을 개발하기 위해.
• 특정 구조를 가정하지 않고도 잠재 또는 은폐 변수 존재 시 모델 선택 과제를 해결하기 위해.
• 기존 방법에 비해 계산적으로 실현 가능하고 통계적으로 타당한 조상 그래프 모델에 대한 대안을 제공하기 위해.
• 반복 비례 적합과 유사하지만 초점을 뒤바꿔 조건부와 근원 분포 적합 절차 간의 이중성을 수립하기 위해.

제안 방법

• ICF 알고리즘은 조상 그래프의 전역 마르코프 성질을 유지하기 위해 근원 분포를 고정하면서 반복적으로 조건부 분포를 추정한다.
• 각 반복 단계에서 알고리즘은 조상 그래프 구조에 의해 표현된 조건부 독립 제약 조건을 충족하는 조건부 분포를 적합한다.
• 조상 그래프가 조건부 및 근원 분포에 대해 닫혀 있음을 활용하여, 적합 과정 전반에 걸쳐 전역 마르코프 성질을 유지한다.
• 알고리즘은 조건부 분포 갱신과 고정된 근원 분포 유지 사이를 번갈아가며 수행되며, 최대우도 추정치로 수렴한다.
• 이 방법은 조건부 분포를 고정하고 근원 분포를 적합하는 반복 비례 적합 알고리즘과 공식적으로 이중성을 가진다.
• 가우시안 분포의 지수족 구조에 기반하여 조건부 모멘트와 공분산 제약 조건을 효율적으로 계산할 수 있다.

실험 결과

연구 질문

• RQ1 관측되지 않는 변수가 있는 가우시안 조상 그래프 모델에서 최대우도 추정을 어떻게 효율적으로 수행할 수 있는가?
• RQ2 어떤 반복 알고리즘이 조건부 독립 제약 조건을 동시에 존중하면서 조상 그래프 마르코프 성질 하에서 최대우도 추정치로 수렴할 수 있는가?
• RQ3 반복 비례 적합과 유사하게 조상 그래프 모델에 대해 조건부 및 근원 분포 적합 간의 이중성을 수립할 수 있는가?
• RQ4 ICF 알고리즘은 잠재 변수 그래픽 모델에 대한 기존 추정 방법과 비교해 성능과 수렴 특성에서 어떻게 다른가?

주요 결과

• ICF 알고리즘은 관측되지 않는 변수가 있는 가우시안 조상 그래프 모델에서 최대우도 추정을 일관적이고 효율적으로 수행할 수 있는 방법을 제공한다.
• 알고리즘은 구조적 제약 조건 하에서 조건부 분포를 반복적으로 개선함으로써 최대우도 추정치로 수렴한다.
• 반복 비례 적합과의 이중성은 공식적으로 수립되었으며, 잠재 구조를 가진 그래픽 모델에서 추정에 대한 새로운 시각을 제공한다.
• 이 방법은 조건부 및 근원 분포에 대해 전역 마르코프 성질을 유지하여 타당한 통계적 추론을 보장한다.