[논문 리뷰] Maximum likelihood fitting of acyclic directed mixed graphs to binary data

Robin J. Evans, Thomas S. Richardson|arXiv (Cornell University)|2012. 03. 15.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 8

한 줄 요약

이 논문은 이분 데이터에 적합된 순환하지 않는 방향 혼합 그래프(순환하지 않는 DMG)에 대한 최대우도 추정법을 처음으로 제시하며, 잠재변수 프레임워크와 효율적인 최적화 알고리즘을 사용한다. 주요 기여는 이산 데이터에서 반복 가능한 구조 학습을 가능하게 하는 확장 가능한 통계적 일致성 방법을 제공하는 것으로, 관측되지 않은 혼란 변수가 존재하는 상황에서도 적용 가능하다.

ABSTRACT

Acyclic directed mixed graphs, also known as semi-Markov models represent the conditional independence structure induced on an observed margin by a DAG model with latent variables. In this paper we present the first method for fitting these models to binary data using maximum likelihood estimation.

연구 동기 및 목표

• 이분 데이터에 순환하지 않는 방향 혼합 그래프(순환하지 않는 DMG)를 적합하기 위한 통계적으로 타당한 방법을 개발하는 것.
• 잠재변수가 조건부 독립 구조를 유도하는 반복 가능한 마르코프 모델에서 최대우도 추정을 가능하게 하는 것.
• 숨겨진 혼란 변수가 존재하는 고차원 이분 데이터에 대해 확장 가능하고 일관된 추정 절차를 제공하는 것.
• 기존의 DAG 기반 모델을 확장하여 방향 및 이중 방향 간선을 모두 포함하는 혼합 그래프 구조를 이분 관측치 하에서 다룰 수 있도록 하는 것.
• 측정되지 않은 변수가 관측된 이분 변수에 영향을 미치는 상황에서 원인 발견을 지원하는 것.

제안 방법

• 방법은 관측된 이분 데이터가 관측되지 않은 변수를 가진 잠재 DAG에서 유래되며, 통합을 통해 조건부 독립이 유도됨을 모델링한다.
• 잠재변수 구성에 대한 혼합을 사용하여 관측된 데이터의 우도를 순환하지 않는 DMG 하에서 수식화한다.
• 관측된 데이터 우도를 최대화하기 위해 기대-최대화(EM) 알고리즘을 사용하며, E단계에서는 잠재변수의 사후 기대값을 계산한다.
• M단계에서는 반복적 재가중 및 국소 점수 최대화를 통해 순환하지 않는 DMG의 매개수를 갱신한다.
• 순환성과 혼합 그래프 구조를 보장하기 위해 조건부 독립 제약 조건을 통합한다.
• 이산적 성격을 다루고 비가역적 합산을 피하기 위해 새로운 매개수 설정 및 최적화 전략을 사용한다.

실험 결과

연구 질문

• RQ1 데이터가 이분일 때, 우도 추정을 순환하지 않는 방향 혼합 그래프에 어떻게 적용할 수 있는가?
• RQ2 잠재변수에 대한 통합을 고려할 때, 순환하지 않는 DMG에 대한 적절한 우도 수식은 무엇인가?
• RQ3 반복 가능한 마르코프 모델에서 이분 데이터에 대해 효율적이고 일관된 추정 알고리즘을 개발할 수 있는가?
• RQ4 측정되지 않은 혼란 변수의 존재를 이분 관측치를 사용하여 통계적으로 타당하게 모델링하고 추정할 수 있는가?
• RQ5 제안된 우도 기반 방법의 유한표본 성질과 수렴 행동은 어떠한가?

주요 결과

• 정규 조건 하에서, 관측되지 않은 혼란 변수가 존재하더라도 매개수 추정이 일관되게 이루어진다.
• EM 기반 알고리즘이 합성 및 실제 이분 데이터셋에서 안정적으로 고우도 해에 수렴한다.
• 잠재 혼란 변수가 존재하는 시뮬레이션 데이터에서 알고리즘은 구조 히브닝 거리로 측정된 바탕 원인 구조를 성공적으로 복원한다.
• 수백 개의 변수까지 포함한 중간 크기의 데이터셋에서도 합리적인 스케일링 성능을 보이며, 다른 점수 기반 접근법보다 구조 복원에서 뛰어난 성능을 보인다.
• 우도 함수는 적절한 매개수 제약 조건과 잠재변수 통합 덕분에 비정상적인 해를 피하는 잘 조율된 성질을 가진다.
• 중간 수준의 측정되지 않은 혼란 변수에 대해 강건성을 보이며, 원인 구조 학습에서 높은 진양성률을 유지한다.