[논문 리뷰] Learning LWF Chain Graphs: A Markov Blanket Discovery Approach

Mohammad Ali Javidian, Marco Valtorta외 1명|arXiv (Cornell University)|2020. 05. 29.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 LWF 체인 그래프에 대한 새로운 마르코프 블랭킷 탐지 프레임워크를 제안하며, 이는 Grow-Shrink 및 IAMB 알고리즘을 이 그래픽 모델 클래스로 확장한 것이다. 이 알고리즘들이 충실성과 인과적 충분성 조건 하에서 여전히 타당함을 입증하여, LWF 체인 그래프의 스케일러블하고 제약 기반의 구조 학습이 가능해지며, 특히 고차원 설정에서 LCD와 같은 최신 기법들과 경쟁 가능한 성능을 보인다.

ABSTRACT

This paper provides a graphical characterization of Markov blankets in chain graphs (CGs) under the Lauritzen-Wermuth-Frydenberg (LWF) interpretation. The characterization is different from the well-known one for Bayesian networks and generalizes it. We provide a novel scalable and sound algorithm for Markov blanket discovery in LWF CGs and prove that the Grow-Shrink algorithm, the IAMB algorithm, and its variants are still correct for Markov blanket discovery in LWF CGs under the same assumptions as for Bayesian networks. We provide a sound and scalable constraint-based framework for learning the structure of LWF CGs from faithful causally sufficient data and prove its correctness when the Markov blanket discovery algorithms in this paper are used. Our proposed algorithms compare positively/competitively against the state-of-the-art LCD (Learn Chain graphs via Decomposition) algorithm, depending on the algorithm that is used for Markov blanket discovery. Our proposed algorithms make a broad range of inference/learning problems computationally tractable and more reliable because they exploit locality.

연구 동기 및 목표

• LWF 체인 그래프에서 마르코프 블랭킷의 그래픽적 특성화를 제시하며, 베이지안 네트워크와의 차이를 명시한다.
• 베이지안 네트워크에서와 동일한 가정 하에 LWF CG에서 마르코프 블랭킷 탐지에 대해 Grow-Shrink 및 IAMB 알고리즘을 확장한다.
• 제안된 마르코프 블랭킷 탐지 알고리즘을 사용할 때, 타당하고 확장 가능한 제약 기반 프레임워크를 통해 LWF CG의 구조 학습을 가능하게 한다.
• 각 변수별로 마르코프 블랭킷 탐지가 독립적으로 수행될 수 있음을 보여주어 대규모 데이터에 대한 병렬 처리를 가능하게 한다.
• 제안된 접근법이 다양한 표본 크기와 평가 지표에서 최신 기법인 LCD 알고리즘과 경쟁하거나 그 이상의 성능을 달성할 수 있음을 보여준다.

제안 방법

• 조건부 인코어런스 테스트를 활용하여 LWF 체인 그래프에서 마르코프 블랭킷 탐지에 적합한 새로운 알고리즘 MBC-CSP를 제안한다.
• LWF CG의 국소적 구조와 조건부 인코어런스 성질을 활용하여, Grow-Shrink (GSMB) 및 IAMB 알고리즘을 LWF CG에 적응시킨다.
• 충실성 및 인과적 충분성 가정 하에, LWF CG에 대한 GSMB 및 IAMB 알고리즘의 이론적 타당성을 확립한다.
• 각 변수별로 효율적인 마르코프 블랭킷 탐지로 귀결되는 전역 구조 학습 프레임워크를 도입한다.
• 개별 마르코프 블랭킷을 독립적으로 학습하고, 이를 통합하여 일관된 LWF CG를 구성하는 모듈러한 접근 방식을 사용한다.
• 정확도를 확보하기 위해 조건부 인코어런스의 제약 기반 테스트를 탐지 과정에 통합한다.

실험 결과

연구 질문

• RQ1 마르코프 블랭킷 개념은 LWF 체인 그래프에서 어떻게 공식적으로 특성화될 수 있으며, 베이지안 네트워크의 경우와 어떻게 다를까?
• RQ2 Grow-Shrink 및 IAMB와 같은 기존 마르코프 블랭킷 탐지 알고리즘이 충실성과 확장성의 가정 하에 LWF CG로 확장될 수 있을까?
• RQ3 제안된 마르코프 블랭킷 기반 학습 프레임워크의 성능은 LCD와 같은 최신 기법과 비교해 어떻게 될까?
• RQ4 LWF 체인 그래프에서 마르코프 블랭킷 탐지의 병렬 처리 가능성은 어느 정도이며, 이는 고차원 데이터에 대한 확장성 향상에 어떻게 기여할까?
• RQ5 제안된 프레임워크는 작은 표본 크기나 비균일한 그래프 희박성 조건에서도 높은 정확도와 낮은 구조 오류율을 유지할 수 있을까?

주요 결과

• 충실성 및 인과적 충분성 가정 하에, LWF CG에서 마르코프 블랭킷 탐지에 대해 Grow-Shrink 및 IAMB 알고리즘이 여전히 타당하다.
• 제안된 MBC-CSP 알고리즘은 LCD 알고리즘과 경쟁 가능한 성능을 보이며, 작은 표본 크기와 큰 표본 크기 설정 모두에서 최고의 구조 히든 거리(SHD) 점수를 기록한다.
• 작은 표본 설정에서는 MBC-CSPLWF와 LCD가 가장 우수한 SHD 성능을 보였고, 큰 표본 설정에서는 MBC-CSPLWF, fdrIAMB, 그리고 LCD가 최고의 성능을 보였다.
• 이 프레임워크는 마르코프 블랭킷의 병렬 학습을 가능하게 하여, 수십만 개의 변수를 가진 데이터셋에 대한 확장성 향상에 크게 기여한다.
• 국소성의 특성을 활용함으로써 구조 오류율을 감소시키고 신뢰성을 향상시켜, 전역 제약 기반 방법보다 우수하거나 동등한 성능을 달성한다.
• 이 연구는 국소적 방법인 마르코프 블랭킷 탐지가 LWF CG의 비균일하게 조밀하거나 희박한 영역에서 전역적 방법보다 더 강건함을 입증한다.