[논문 리뷰] Posterior Graph Selection and Estimation Consistency for High-dimensional Bayesian DAG Models

Xuan Cao, Kshitij Khare외 1명|arXiv (Cornell University)|2016. 11. 03.

Statistical Methods and Inference참고 문헌 25인용 수 6

한 줄 요약

이 논문은 다중 형태 매개변수를 가진 유연한 DAG-Wishart 사전분포 클래스를 사용하여 고차원 베이지안 가우시안 DAG 모델에서 사후 그래프 선택 및 추정 일致성을 확립한다. 적당한 정규성 조건 하에, 표본 크기 $ n $ 과 비교해 변수 수 $ p $ 가 지수적 이하로 증가할 때 강한 그래프 선택 일치성과 사후 수렴 속도를 증명하며, 고차원 환경에서의 베이지안 DAG 모델 선택에 대한 이론적 근거를 제공한다.

ABSTRACT

Covariance estimation and selection for high-dimensional multivariate datasets is a fundamental problem in modern statistics. Gaussian directed acyclic graph (DAG) models are a popular class of models used for this purpose. Gaussian DAG models introduce sparsity in the Cholesky factor of the inverse covariance matrix, and the sparsity pattern in turn corresponds to specific conditional independence assumptions on the underlying variables. A variety of priors have been developed in recent years for Bayesian inference in DAG models, yet crucial convergence and sparsity selection properties for these models have not been thoroughly investigated. Most of these priors are adaptations or generalizations of the Wishart distribution in the DAG context. In this paper, we consider a flexible and general class of these 'DAG-Wishart' priors with multiple shape parameters. Under mild regularity assumptions, we establish strong graph selection consistency and establish posterior convergence rates for estimation when the number of variables p is allowed to grow at an appropriate sub-exponential rate with the sample size n.

연구 동기 및 목표

• 고차원 베이지안 DAG 모델에서 그래프 선택 및 추정 일치성에 대한 이론적 보장을 부족한 점을 보완하기 위해.
• 기존의 위샤르트 기반 사전분포를 다중 형태 매개변수를 가진 유연한 DAG-Wishart 분포 클래스로 확장하여 차별적 수축을 가능하게 하기 위해.
• 변수 수 $ p $ 가 표본 크기 $ n $ 과 비교해 지수적 이하로 증가할 때, 적당한 정규성 조건 하에 강력한 사후 그래프 선택 일치성과 추정 일치성을 확립하기 위해.
• 특히 구조 학습과 공분산 추정을 위한 고차원 가우시안 DAG 모델에서의 베이지안 추론에 대한 이론적 기초를 제공하기 위해.
• 이전의 $ \mathcal{G} $-위샤르트 및 레타크-마사마 사전분포 결과를 완전한 DAG가 아닌 임의의 DAG로 일반화하기 위해.

제안 방법

• 다중 형태 매개변수를 가진 일반적인 DAG-Wishart 사전분포 클래스를 제안하여 고차원 환경에서의 탄력적 수축을 가능하게 한다.
• 역공분산 행렬의 흐문 패턴을 하한 삼각행렬 $ L $ 을 통해 코딩하기 위해 수정된 콜리지 분해 $ \Omega = L D^{-1} L^T $ 를 사용하며, 이때 0인 요소는 조건부 독립성을 나타낸다.
• 진짜 DAG와 사전분포의 초매개변수에 대해 정규성 조건을 적용하여 사후 일치성과 수렴 속도를 보장한다.
• 진짜 그래프의 희박성과 $ p $, $ n $ 에 따라 의존하는 사후 수렴 속도를 $ \Omega $ 와 $ L $ 에 대해 유도한다.
• DAG 공간에 대한 사전분포를 도입하여 베이지안 모델 선택 프레임워크를 활용하고, 최적의 그래프를 선택하기 위해 사후 확률을 계산한다.
• 시뮬레이션 연구를 통해 로그 스코링 및 BIC 기반 경로 검색 방법과 비교하여 베이지안 접근법의 성능을 검증하며, PPV, TPR, FPR 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 표본 크기 $ n $ 과 함께 변수 수 $ p $ 가 증가할 때 고차원 베이지안 DAG 모델에서 사후 그래프 선택이 일관되게 달성될 수 있는가?
• RQ2 고차원 DAG 모델에서 역공분산 행렬과 콜리지 인자에 대한 사후 수렴 속도는 무엇인가?
• RQ3 DAG-Wishart 사전분포에서 다중 형태 매개변수의 사용이 단일 매개변수 사전분포보다 추정 및 선택 일치성에 어떻게 향상시키는가?
• RQ4 고차원 환경에서 베이지안 접근법이 Lasso-DAG, CSCS 등의 빈도주의 페널라이제이션 최대우도 방법보다 그래프 선택 정확도에서 뛰어나게 되는가?
• RQ5 표본 크기 $ n \to \infty $ 일 때, 사후 분포가 진짜 DAG와 그 연관 매개변수 근처에 집중되는 정규성 조건은 무엇인가?

주요 결과

• 모든 시뮬레이션 설정에서 베이지안 접근법은 0.95 이상의 양성 예측도(PPV)를 달성하여 페널라이제이션 최대우도 방법(PPV ~0.1)보다 뚜렷이 뛰어나다.
• 베이지안 방법은 TPR이 0.39 이상을 기록한 반면, 페널라이제이션 최대우도 방법은 TPR < 0.21 이하로 진짜 간선을 탐지하는 데에 떨어져 있다.
• 베이지안 접근법은 FPR이 약 $ 10^{-6} $ 수준을 기록하여 페널라이제이션 최대우도 방법의 FPR (~0.002) 와 비교해 훨씬 낮다.
• 표본 크기 $ n $ 과 비교해 변수 수 $ p $ 가 지수적 이하로 증가할 때 $ \Omega $ 와 $ L $ 에 대한 사후 수렴 속도가 유도되었으며, 이는 이론적 일치성을 확립한다.
• 다중 형태 매개변수를 가진 제안된 DAG-Wishart 사전분포에 대해 적당한 정규성 조건 하에 강력한 그래프 선택 일치성이 증명되었다.
• 시뮬레이션 결과는 베이지안 접근법이 더 넓고 계산적으로 타당한 그래프 탐색을 가능하게 하여 빈도주의 대비 구조 학습 성능이 뛰어나다는 것을 보여준다.