[논문 리뷰] Concave Penalized Estimation of Sparse Bayesian Networks.

Bryon Aragam, Qing Zhou|arXiv (Cornell University)|2014. 01. 04.

Bayesian Modeling and Causal Inference참고 문헌 26인용 수 4

한 줄 요약

이 논문은 충실성 가정이나 변수 순서 가정 없이 관측 데이터로부터 희소한 가우시안 베이지안 네트워크를 추정하기 위한 오목한 페널티가 부여된 우도 방법을 제안한다. 정규 분포의 로그우도를 볼록 손실 함수로 재매개변수화하고, 희소성 및 순환성 제약 조건을 고려한 좌표 하강법을 사용함으로써, 수천 개 노드에 이르는 큰 그래프에 대해 빠르고 확장 가능한 추정이 가능해지며, 특히 소규모 표본 및 희소한 구조에서 PC 알고리즘보다 빠르고 정확한 성능을 보인다.

ABSTRACT

Abstract. We develop a penalized likelihood approach to estimating the structure of a Gaussian Bayesian network, given by a directed acyclic graph, from observational data under a concave penalty. The framework introduced here does not rely on faithfulness or knowledge of the ordering of the variables and favours sparsity over complexity in estimating the under-lying graph. Asymptotic theory for the estimator is provided in the finite-dimensional case, and a fast numerical scheme is offered that is capable of estimating the structure of graphs with thousands of nodes. By reparametrizing the usual normal log-likelihood, we obtain a convex loss function which accelerates computation of the proposed estimator. Our algorithm also takes advantage of sparsity and acyclicity by using coordinate descent, a computational approach which has recently become quite popular. Finally, we compare our method with the well-known PC algorithm, and show that our method is faster in general and does a sig-nificantly better job of handling small samples and very sparse networks. Our focus is on the Gaussian linear model, however, the framework introduced here can also be extended to non-Gaussian and non-linear designs, which is an attractive prospect for future applications. 1.

연구 동기 및 목표

• 충실성 또는 변수 순서 가정에 의존하지 않는 가우시안 베이지안 네트워크의 구조 학습 방법을 개발하는 것.
• 과적합을 방지하고 해석 가능성을 향상시키기 위해 추정된 그래프 구조의 희소성을 촉진하는 것.
• 계산 효율적인 알고리즘을 통해 수천 개 노드에 이르는 대규모 베이지안 네트워크를 효율적으로 추정하는 것.
• 기존의 PC 알고리즘과 비교해 소규모 표본 크기와 매우 희소한 네트워크에서의 성능을 향상시키는 것.
• 유한차원 설정에서 추정기의 점근적 이론을 수립하는 것.

제안 방법

• 가우시안 베이지안 네트워크의 정밀행렬 추정에서 희소성을 유도하기 위해 우도 함수에 오목한 페널티를 적용한다.
• 계산 속도 향상과 수치 안정성 향상을 위해 정규 분포의 로그우도를 볼록 손실 함수로 재매개변수화한다.
• 희소성 및 순환성 제약 조건을 활용하여 계산 효율성을 향상시키기 위해 좌표 하강법을 최적화 전략으로 사용한다.
• 추정된 그래프가 유효한 DAG가 되도록 보장하기 위해 순환성 제약 조건을 재매개변수화를 통해 도입한다.
• 수천 개 노드까지 처리할 수 있는 빠른 수치적 방법을 제안한다.
• 비가우시안 및 비선형 모델로의 프레임워크 확장을 가능하게 하였지만, 주된 초점은 가우시안 선형 모델에 둔다.

실험 결과

연구 질문

• RQ1 충실성 또는 변수 순서 가정에 의존하지 않고 오목한 페널티가 부여된 우도 접근법이 희소한 가우시안 베이지안 네트워크를 효과적으로 추정할 수 있는가?
• RQ2 특히 소규모 표본 및 희소한 네트워크 설정에서, 제안된 방법은 PC 알고리즘과 비교해 계산 속도와 추정 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ3 로그우도의 볼록 재매개변수화가 계산 효율성과 수렴성에 얼마나 기여하는가?
• RQ4 유한차원 설정에서 추정기의 점근적 성질은 무엇인가?
• RQ5 이 프레임워크는 비가우시안 및 비선형 모델로 확장될 수 있는가?

주요 결과

• 제안된 방법은 특히 수천 개 노드에 이르는 대규모 네트워크에서 PC 알고리즘보다 더 빠른 계산 속도를 보였다.
• 희소 네트워크와 소규모 표본 설정에서 PC 알고리즘보다 상당히 뛰어난 정확도를 보이며, 우수한 성능을 입증하였다.
• 정규 분포의 로그우도를 볼록 손실 함수로 재매개변수화함으로써 더 빠르고 안정적인 최적화가 가능해졌다.
• 좌표 하강 알고리즘이 희소성과 순환성 제약 조건을 효과적으로 활용하여 확장성과 성능을 향상시켰다.
• 유한차원 케이스에서 추정기의 점근적 이론이 수립되었으며, 정규 조건 하에서 일致성에 대한 근거를 제공한다.
• 프레임워크는 비가우시안 및 비선형 모델로도 확장 가능하여 향후 방법론적 확장의 기반을 제공한다.