[논문 리뷰] Adaptive Penalized Estimation of Directed Acyclic Graphs From Categorical Data

Jiaying Gu, Fei Fu외 1명|arXiv (Cornell University)|2014. 03. 10.

Bayesian Modeling and Causal Inference참고 문헌 45인용 수 6

한 줄 요약

이 논문은 다항 로그선형 회귀를 통해 조건부 분포를 모델링하고, 블록별 좌표강하 알고리즘을 통해 순환성을 제약함으로써 범주형 자료로부터 희박한 방향성 비순환 그래프(DAG)를 추정하기 위해 적응형 그룹 Lasso를 사용하는 페널라이제이션된 우도 방법을 제안한다. 이 방법은 일致된 구조 및 매개변수 추정을 달성하며, 간섭 데이터 및 고차원 관측 설정에서 기존 방법들을 능가한다.

ABSTRACT

We develop in this article a penalized likelihood method to estimate sparse Bayesian networks from categorical data. The structure of a Bayesian network is represented by a directed acyclic graph (DAG). We model the conditional distribution of a node given its parents by multi-logit regression and estimate the structure of a DAG via maximizing a regularized likelihood. The adaptive group Lasso penalty is employed to encourage sparsity by selecting grouped dummy variables encoding the level of a factor. We develop a blockwise coordinate descent algorithm to solve the penalized likelihood problem subject to the acyclicity constraint of a DAG. When intervention data are available, our method may construct a causal network, in which a directed edge represents a causal relation. We apply our method to various simulated networks and a real biological network. The results show that our method is very competitive, compared to other existing methods, in DAG estimation from both interventional and high-dimensional observational data. We also establish consistency in parameter and structure estimation for our method when the number of nodes is fixed.

연구 동기 및 목표

• 범주형 자료로부터 희박한 베이지안 네트워크를 페널라이제이션된 우도를 사용해 추정하는 방법을 개발한다.
• 추정 과정에 순환성 제약 조건을 통합하여 DAG의 구조를 강제로 적용한다.
• 간섭 데이터가 이용 가능한 경우 인과 네트워크 학습을 가능하게 한다.
• 노드 수가 고정된 조건에서 일관된 매개변수 및 구조 추정을 달성한다.
• 고차원 관측 및 간섭 데이터 설정에서 희박성과 정확도를 향상시킨다.

제안 방법

• 범주형 변수에 대한 다중 로그선형 회귀를 사용해 부모 노드가 주어진 조건에서 각 노드의 조건부 분포를 모델링한다.
• 요인 수준을 나타내는 군집화된 더미 변수를 선택하기 위해 적응형 그룹 Lasso 페널티를 적용하여 군집 수준에서 희박성을 촉진한다.
• 순환성 제약 조건이 포함된 정규화된 우도 최대화 문제로 추정 문제를 공식화한다.
• DAG 제약 조건을 유지하면서 매개변수를 반복적으로 갱신하는 블록별 좌표강하 알고리즘을 개발한다.
• 최적화 과정에서 추정된 그래프가 항상 유효한 DAG를 유지하도록 순환성 제약 조건을 활용한다.
• 간섭 데이터를 활용해 방향성 간선이 인과 효과를 나타내는 인과 관계를 추론한다.

실험 결과

연구 질문

• RQ1 적응형 그룹 Lasso를 포함한 페널라이제이션된 우도 접근법이 범주형 자료로부터 DAG의 구조를 효과적으로 추정할 수 있는가?
• RQ2 고차원 관측 자료에서 이 방법은 참값 DAG의 구조를 얼마나 잘 복원하는가?
• RQ3 간섭 데이터가 이용 가능한 경우 이 방법은 정확도를 어느 정도 유지하는가?
• RQ4 표본 크기가 증가함에 따라 이 방법이 매개변수 및 구조 추정에서 일관성을 달성하는가?
• RQ5 희박성과 추정 정확도 측면에서 이 방법은 기존 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 노드 수가 고정된 조건에서 정규성 조건 하에 매개변수 및 구조 추정이 일관되게 달성된다.
• 시뮬레이션 네트워크에 대한 실증 결과는 참값 DAG의 구조를 복원하는 데 강력한 성능을 보이며, 특히 고차원 설정에서 뛰어나다.
• 간섭 및 관측 데이터 양쪽 모두에서 이 방법은 구조 정확도 측면에서 기존 방법들을 능가한다.
• 적응형 그룹 Lasso는 요인 수준에 해당하는 전체 군집의 더미 변수를 선택함으로써 효과적으로 희박성을 촉진한다.
• 블록별 좌표강하 알고리즘은 최적화 과정에서 순환성 제약 조건을 효율적으로 처리한다.
• 간섭 데이터가 이용 가능한 경우 이 방법은 인과 네트워크를 성공적으로 구성하여 방향성 인과 관계를 정확히 식별한다.