[논문 리뷰] Learning DAGs without imposing acyclicity

Gherardo Varando|arXiv (Cornell University)|2020. 06. 04.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 5

한 줄 요약

이 논문은 암시적으로 순환성 제약을 부여하지 않고 데이터로부터 방향성 비순환 그래프(DAGs)를 학습하는 새로운 방법을 제안한다. 문제를 역공분산행렬의 $\ell_1$-패널티가 부여된 희소 행렬 분해로 재정의하며, 보조 기울기 알고리즘을 사용해 분해를 추정함으로써 경쟁력 있는 DAG 복원 성능과 계산 효율성을 달성한다. 결과적으로 거의 순환성이 없는 그래프를 생성하며, 전통적인 방법들보다 빠른 속도를 보인다.

ABSTRACT

We explore if it is possible to learn a directed acyclic graph (DAG) from data without imposing explicitly the acyclicity constraint. In particular, for Gaussian distributions, we frame structural learning as a sparse matrix factorization problem and we empirically show that solving an $\ell_1$-penalized optimization yields to good recovery of the true graph and, in general, to almost-DAG graphs. Moreover, this approach is computationally efficient and is not affected by the explosion of combinatorial complexity as in classical structural learning algorithms.

연구 동기 및 목표

• 최적화 과정에서 순환성 제약을 명시적으로 부여하지 않더라도 DAG 구조 학습이 가능할지 조사하기 위해.
• 기존의 점수 기반 및 제약 기반 DAG 학습 알고리즘에 대한 계산 효율성이 높은 대안을 개발하기 위해.
• $\ell_1$-패널티가 부여된 우도 최소화를 이용한 희소 행렬 분해 접근법이 진정한 DAG의 구조를 얼마나 잘 복원하는지 평가하기 위해.
• 제약 기반 방법과 달리, 이 방법이 그래프 구조와 모델 파라미터를 동시에 추정할 수 있음을 보여주기 위해.

제안 방법

• 선형 SEM의 공분산행렬 역행렬을 $\Sigma^{-1} = A A^t$로 표현하며, 여기서 $A$는 DAG의 인접행렬 $\Lambda$의 희소성 패턴을 그대로 이어받는다.
• DAG 학습 문제를 $\ell_1$-패널티가 부여된 음의 로그우도 최소화 문제로 재정의한다: $\min_A -2\log\det(A) + \mathrm{trace}(A^t \hat{R} A) + \lambda \|A\|_1$.
• 보조 기울기 알고리즘을 사용해 최적화 문제를 해결하며, $\ell_1$ 정규화에는 소프트 스트레칭, 로그행렬식과 역행렬 계산에는 LU 분해를 적용한다.
• 추정된 $A$ 행렬의 비영성 패턴을 직접 사용해 DAG의 구조를 복원하며, 순환성 제약을 부여하지 않는다.
• 해결책이 종종 암시적으로 순환성이 거의 없는 그래프를 생성함을 활용한다. 이는 순환성 제약 없이도 성능이 양호함을 시사한다.
• Fortran으로 알고리즘을 구현하였으며, R 및 Python 인터페이스를 제공하며, github.com/gherardovarando/nodag 에 소스코드를 공개한다.

실험 결과

연구 질문

• RQ1 최적화 과정에서 순환성 제약을 명시적으로 부여하지 않더라도 DAG의 구조를 효과적으로 복원할 수 있는가?
• RQ2 기존의 DAG 학습 방법과 비교해 $\ell_1$-패널티가 부여된 행렬 분해 접근법의 그래프 복원 성능 및 계산 속도는 어떠한가?
• RQ3 순환성 제약을 부여하지 않았음에도 불구하고, 이 방법이 얼마나 근접한 순환성 그래프를 생성하는가?
• RQ4 제약 기반 방법과 달리, 이 방법이 그래프 구조와 기저 SEM 파라미터를 동시에 추정할 수 있는가?

주요 결과

• 제안된 방법은 합성 데이터 및 실세계 데이터 모두에서 최신 기술과 경쟁하는 DAG 복원 성능을 달성한다.
• 런타임 비교 결과에 따르면, 전통적인 점수 기반 및 제약 기반 DAG 학습 알고리즘보다 뚜렷이 빠른 속도를 보인다.
• 최적화 과정에서 순환성 제약 없이도 항상 거의 순환성이 없는 그래프를 생성하며, 이는 $\ell_1$ 패널티가 암묵적으로 순환성을 촉진함을 시사한다.
• 제약 기반 방법과 달리, $A$ 행렬을 통해 전체 모델 파라미터를 추정함으로써 계수 행렬 $\Lambda$의 복원이 가능하다.
• 다양한 정규화 수준에서 강인하며, 부트스트래핑을 통한 정규화 경로 계산 및 안정성 선택(stability selection)을 지원한다.
• 구현이 계산적으로 효율적이며, 반복 계산 비용은 희소성이나 표본 크기와 무관하게 $p$에만 의존하며, 대규모 문제에 적합하다.