[논문 리뷰] Parameter and Structure Learning in Nested Markov Models

Ilya Shpitser, Thomas S. Richardson외 2명|arXiv (Cornell University)|2012. 07. 20.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 15

한 줄 요약

이 논문은 잠재 변수가 있는 DAG에서의 구조 학습 문제를 해결하기 위해, 조건부 독립성과 후행단절 독립성(등가성 제약 조건)을 모두 포괄하는 이중 인수분해 기반 이중 마르코프 모델에 대한 매개변수 피팅 및 구조 학습 알고리즘을 제안한다. 주요 기여는 표준 조건부 독립성으로는 구분할 수 없는 인과적 구조를 식별할 수 있도록 BIC 기반의 탐색 및 점수 알고리즘을 개발한 것이다. 이는 잠재 변수 환경에서 정확한 인과적 발견을 가능하게 한다.

ABSTRACT

The constraints arising from DAG models with latent variables can be naturally represented by means of acyclic directed mixed graphs (ADMGs). Such graphs contain directed and bidirected arrows, and contain no directed cycles. DAGs with latent variables imply independence constraints in the distribution resulting from a 'fixing' operation, in which a joint distribution is divided by a conditional. This operation generalizes marginalizing and conditioning. Some of these constraints correspond to identifiable 'dormant' independence constraints, with the well known 'Verma constraint' as one example. Recently, models defined by a set of the constraints arising after fixing from a DAG with latents, were characterized via a recursive factorization and a nested Markov property. In addition, a parameterization was given in the discrete case. In this paper we use this parameterization to describe a parameter fitting algorithm, and a search and score structure learning algorithm for these nested Markov models. We apply our algorithms to a variety of datasets.

연구 동기 및 목표

• 표준 조건부 독립 제약 조건이 모델을 구분하는 데 부족한, 잠재 변수가 있는 DAG 모델에서의 구조 학습 문제를 해결하기 위해.
• 최근에 확립된 이중 인수분해를 기반으로 한 이중 마르코프 모델의 이산적 매개변수화에 기반한 매개변수 피팅 알고리즘을 개발하기 위해.
• 표준 조건부 독립성 외에 후행단절 독립성 제약 조건을 활용하여, 기존에 조건부 독립성으로는 식별이 불가능한 모델을 구분할 수 있는 탐색 및 점수 기반의 구조 학습 알고리즘을 설계하기 위해.
• 데이터로부터 진정한 인과적 구조를 회복할 수 있는지의 경험적 검증을 통해, 특히 표준 조건부 독립 제약 조건이 존재하지 않는 경우에도 성능을 입증하기 위해.
• 네 노드 혼합 그래프에서 등가성 클래스를 후행단절 제약 조건을 기반으로 특성화하는 추측을 제기하고 이를 뒷받침하는 증거를 제공하기 위해.

제안 방법

• 표준 마르코프 및 이중 그래프 인수분해를 일반화하여 후행단절 독립성 제약 조건을 포함하는 이중 마르코프 모델의 이중 인수분해를 사용한다.
• 이산적 매개변수화 기반의 매개변수 피팅 알고리즘을 통해 최대우도 추정(MLE)을 적용하여 모델 매개변수를 추정한다.
• 조건부 독립성과 후행단절 제약 조건을 모두 포함한 BIC 기반 점수 함수를 사용하여 후보 혼합 그래프 구조를 평가한다.
• BIC 점수에 따라 지도된 혼합 그래프 공간에서의 탐색을 통해 최적의 ADMG 구조를 식별하는 방식으로 구조 학습을 수행한다.
• 잠재 변수가 있는 알려진 DAG에서 유도된 혼합 그래프를 사용하여 잠재 프로젝션을 적용한 시뮬레이션 데이터셋을 활용해 알고리즘을 검증한다.
• Q-FIT를 사용하여 등가성 클래스 내에서 로그우도를 계산하여, 네 노드 모델의 등가성에 대한 추측을 검증한다.

실험 결과

연구 질문

• RQ1 이중 인수분해를 기반으로 한 이중 마르코프 모델에 대해 이산적 매개변수화를 활용한 매개변수 피팅 알고리즘을 개발할 수 있는가?
• RQ2 표준 조건부 독립성으로는 식별이 불가능한 모델을 후행단절 독립성 제약 조건을 활용하여 식별할 수 있는 탐색 및 점수 기반의 구조 학습 알고리즘을 구성할 수 있는가?
• RQ3 네 노드 혼합 그래프 모델에서 후행단절 독립성 제약 조건은 얼마나 흔한가? 그리고 이는 모델의 식별 능력을 상당히 향상시키는가?
• RQ4 표준 조건부 독립 제약 조건이 존재하지 않는 경우에도, 제안된 알고리즘이 데이터로부터 진정한 ADMG 구조를 정확히 회복할 수 있는가?
• RQ5 특히 네 노드 시스템에서, 공통된 후행단절 독립성 제약 조건을 공유하는 혼합 그래프의 등가성 클래스를 이들의 공통된 후행단절 독립성 제약 조건으로 특성화할 수 있는가?

주요 결과

• 제안된 매개변수 피팅 알고리즘은 이산적 이중 인수분해 기반 최대우도 추정을 통해 모델 매개변수를 성공적으로 추정한다.
• BIC 기반의 구조 학습 알고리즘은 표준 조건부 독립 제약 조건이 없는 경우에도 시뮬레이션 데이터에서 진짜 ADMG 구조를 정확히 식별한다.
• 후행단절 독립성 제약 조건은 흔하지 않다: 네 노드 혼합 그래프 등가성 클래스의 약 25%에서 발생하며, 이는 잠재 변수 모델링에서 광범위한 관련성을 지닌다.
• 표준 조건부 독립성으로는 식별이 불가능한 모델들, 예를 들어 그림 6에 나타난 등가성 클래스(각각 5개의 그래프를 포함하는 24개의 등가성 클래스로 구성됨)를 후행단절 독립성 제약 조건을 통해 식별할 수 있다.
• Q-FIT를 사용한 경험적 검증 결과, 추측된 등가성 클래스 내에서 로그우도 값이 동일한 것으로 확인되어 네 노드 모델 등가성에 대한 추측을 뒷받침한다.
• 이중 인수분해와 후행단절 제약 조건은 인과적 해석을 가능하게 하며, 잠재 변수 시스템에서 직접 효과와 공동 효과를 식별하는 데 기여한다.