[논문 리뷰] On the Role of Sparsity and DAG Constraints for Learning Linear DAGs

Ignavier Ng, AmirEmad Ghassami외 1명|arXiv (Cornell University)|2020. 06. 17.

Bayesian Modeling and Causal Inference참고 문헌 58인용 수 57

한 줄 요약

이 논문은 soft sparsity와 DAG 제약을 사용하여 엄격한 비순환성 제약을 피하는 가능도 기반 DAG 학습 방법 GOLEM을 제안하고, 식별 가능/비식별 설정에서 선형 DAG에 대해 GPU 기반 확장 가능한 최적화를 통해 효과를 입증한다.

ABSTRACT

Learning graphical structures based on Directed Acyclic Graphs (DAGs) is a challenging problem, partly owing to the large search space of possible graphs. A recent line of work formulates the structure learning problem as a continuous constrained optimization task using the least squares objective and an algebraic characterization of DAGs. However, the formulation requires a hard DAG constraint and may lead to optimization difficulties. In this paper, we study the asymptotic role of the sparsity and DAG constraints for learning DAG models in the linear Gaussian and non-Gaussian cases, and investigate their usefulness in the finite sample regime. Based on the theoretical results, we formulate a likelihood-based score function, and show that one only has to apply soft sparsity and DAG constraints to learn a DAG equivalent to the ground truth DAG. This leads to an unconstrained optimization problem that is much easier to solve. Using gradient-based optimization and GPU acceleration, our procedure can easily handle thousands of nodes while retaining a high accuracy. Extensive experiments validate the effectiveness of our proposed method and show that the DAG-penalized likelihood objective is indeed favorable over the least squares one with the hard DAG constraint.

연구 동기 및 목표

• 다양한 모델 가정 하에서 선형 DAG를 학습하는 데 있어 엄격한 DAG 제약과 희소성의 필요성을 평가한다.
• 소프트 제약을 갖춘 가능도 기반의 연속 무제약 최적화 프레임워크(GOLEM)를 개발한다.
• 식별 가능/비식별 설정에서 가능도 기반 GOLEM을 회귀 기반 LS 방법 및 NOTEARS와 비교한다.
• GPU 가속을 이용하여 수천 개 노드로의 확장성을 입증하고 합성 및 실제 데이터에 대한 경험적 검증을 제공한다.

제안 방법

• 가중 인접 행렬 B에 대한 무제약 최적화 문제로 이어지는 소프트 희소성과 DAG 제약을 갖는 가능도 기반 점수를 형식화한다.
• 두 가지 가능도 목적함수 L1(분산이 서로 다른 경우의 가능도)와 L2(같은 분산의 가능도)를 사용하고 L1 패널티와 DAG 패널티 h(B) = tr(exp(B ∘ B)) − d를 추가한다.
• 그래디언트 기반 방법(Adam)으로 비볼록 최적화를 풀고, 나쁜 국소해를 피하기 위해 GOLEM-NV를 GOLEM-EV에서 초기화한다.
• 엣지 가중치에 후처리 임계치를 적용해 DAG를 얻고, 필요 시 순환을 제거하여 DAG를 생성한다.
• 일반 가우시안 및 식별 가능 설정하에서 희소성과 DAG 제약의 이론적 역할을 분석하고 소프트 제약이 점근적으로 충분하다는 것을 보인다.

실험 결과

연구 질문

• RQ1 선형 DAG 학습에서 엄격한 DAG 제약이 소프트한 가능도 기반 제약에 비해 그래프 회복에 향상효과가 있는가?
• RQ2 희소성과 DAG 제약이 지상 진실과 동등한 DAG의 복원을 보장하는 모델 가정은 어떤 것인가? (가우시안 EV/ NV, 비가우시안, LiNGAM 식별 가능성 포함)
• RQ3 가능도 기반 GOLEM이 LS 기반 및 NOTEARS 접근법과 식별 가능/비식별 설정에서 정확성과 확장성 측면에서 어떻게 비교되는가?
• RQ4 GOLEM이 그래프 유형(ER, SF)과 샘플 크기에 따라 높은 정확도를 유지하면서 GPU 가속으로 수천 개 노드로 확장될 수 있는가?
• RQ5 가중치 스케일링 및 유한 표본 효과가 GOLEM과 비교 기준 간 성능에 미치는 영향은 무엇인가?

주요 결과

• 완만한 가정하에서 소프트 희소성과 DAG 제약을 갖춘 GOLEM은 점근적으로 지상 진실에 상응하는 DAG를 복원한다.
• Gaussian-EV 설정에서 희소성만으로도 지상 진실 DAG를 복원할 수 있으며, Gaussian-NV 설정에서는 신뢰할 수 있는 복원을 위해 DAG 정규화가 필요하다.
• GOLEM-NV 및 GOLEM-EV는 기반 방법들을 능가하며, 특히 더 크고 밀집된 그래프에서 더 잘 작동하고 수천 개 노드도 GPU 가속으로 처리할 수 있다.
• 식별 가능 케이스(LiNGAM 유사 및 등잡음 가우시안)에서 그래디언트 기반 GOLEM 변형은 잡음 유형(Gaussian, Exponential, Gumbel) 전반에 걸쳐 경쟁 baselines를 능가하거나 동등하다.
• GOLEM은 NOTEARS-L1에 비해 확장성 이점을 보이며 그래프 크기가 커져도 정확도를 유지하며 GPU 가속 3차 연산에 의해 도움을 받는다.
• 임계값 기반 후처리는 사이클을 잘라내고 유한 표본에서 DAG 패널티를 활용해 비순환 그래프를 효과적으로 얻는다.