[논문 리뷰] DAGs with NO TEARS: Continuous Optimization for Structure Learning

Xun Zheng, Bryon Aragam외 2명|arXiv (Cornell University)|2018. 03. 04.

Bayesian Modeling and Causal Inference인용 수 224

한 줄 요약

논문은 DAG 구조 학습을 연속 최적화 문제로 재구성하여 매끄럽고 정확한 비순환성 제약(NOTEARS)을 도입하여 조합 탐색 없이도 구조 및 매개변수 학습을 가능하게 한다.

ABSTRACT

Estimating the structure of directed acyclic graphs (DAGs, also known as Bayesian networks) is a challenging problem since the search space of DAGs is combinatorial and scales superexponentially with the number of nodes. Existing approaches rely on various local heuristics for enforcing the acyclicity constraint. In this paper, we introduce a fundamentally different strategy: We formulate the structure learning problem as a purely \emph{continuous} optimization problem over real matrices that avoids this combinatorial constraint entirely. This is achieved by a novel characterization of acyclicity that is not only smooth but also exact. The resulting problem can be efficiently solved by standard numerical algorithms, which also makes implementation effortless. The proposed method outperforms existing ones, without imposing any structural assumptions on the graph such as bounded treewidth or in-degree. Code implementing the proposed algorithm is open-source and publicly available at https://github.com/xunzheng/notears.

연구 동기 및 목표

• 비순환성으로 인해 DAG를 학습하는 것이 NP-hard임을 동기화하고 확장 가능한 방법의 필요성을 제시한다.
• 이산적인 DAG 제약을 매끄러운 동등 제약으로 대체하는 연속적 형식을 도입한다.
• 구조와 매개변수 추정을 함께 최적화하기 위한 증강 라그랑지안 방식의 연속 프로그램 최적화를 개발한다.
• 최첨단 방법과의 비교 및 실무에서의 전역 최솟값과의 관계를 실증적으로 입증한다.

제안 방법

• 정의 F(W)로 정규화된 LS 손실을 정의한다: F(W)= (1/2n)||X - XW||_F^2 + λ||W||_1.
• 가우대? 비순환성을 매끄러운 함수 h(W)=tr(exp(W∘W))−d 로 특성화한다, 여기서 ∘ 는 Hadamard 곱이다.
• 이산 DAG 제약을 등식 h(W)=0으로 대체하여 등식 제약 프로그램(ECP)을 얻는다.
• ECP를 증강 라그랑지안으로 풀고: F(W) + (ρ/2)|h(W)|^2 + α h(W) 를 최소화하며, 쌍대 상승으로 α를 갱신하고 L-BFGS 또는 근접 준뉴턴 방법으로 부분 문제를 반복적으로 최적화한다.
• 최적화 후 하드 임계처리 적용: Ŵ = W̃_ECP ∘ 1(|W̃_ECP|>ω) 로 희소하고 비순환적인 구조를 얻는다.
• 참고: 이 방법은 표준 수치 해석기들을 활용하며 Python으로 약 50줄의 구현으로 가능하다.

실험 결과

연구 질문

• RQ1 매끄럽고 정확한 비순환성 제약이 DAG 구조 학습에서 조합적 제약을 대체할 수 있는가?
• RQ2 표준 해석기를 사용하는 연속적 비볼록 최적화 방법이 제한적 그래프 가정 없이도 경쟁력 있는 DAG 구조 및 매개변수 추정치를 제공하는가?
• RQ3 실무에서 연속 형식의 해가 전역 최적해 및 정확한 DAG에 얼마나 근접하는가?

주요 결과

• NOTEARS는 제한된 트리폭이나 차수 같은 가정 없이도 최첨단 성능을 달성한다.
• 실무에서 전역 최적 점에 근접한 점수에 도달하나, 수렴은 정지점으로 보장될 뿐이다.
• 정규화(ℓ1)는 작은 샘플에서 구조 복구를 개선한다.
• 이 방법은 중간 정도의 고차원까지 확장 가능하고 대규모 샘플에서 일관된 매개변수 추정치를 생긴다, 다양한 노이즈 모델에 대해 견고하다.
• 저자들은 github.com/xunzheng/notears 에 NOTEARS 구현 코드의 오픈 소스 코드를 제공한다.