[논문 리뷰] DAGs with No Fears: A Closer Look at Continuous Optimization for Learning Bayesian Networks

Dennis Wei, Tian Gao외 1명|arXiv (Cornell University)|2020. 10. 18.

Bayesian Modeling and Causal Inference인용 수 26

한 줄 요약

이 논문은 베이지안 네트워크 구조 학습을 위한 연속 최적화 프레임워크인 NOTEARS를 재평가하며, 기존의 원래 수식이 Karush-Kuhn-Tucker (KKT) 최적성 조건을 비자명한 경우를 제외하고는 만족할 수 없다는 점을 드러낸다. 절대값을 사용한 인접행렬의 재정의와 타당한 KKT 조건 유도를 통해, 저자들은 국소 탐색 알고리즘 KKTS를 설계하였으며, 이는 모든 테스트된 알고리즘에서 구조적 해밍 거리를 최소 2배 이상 향상시킨다. 기존 방법과 조합할 경우 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

This paper re-examines a continuous optimization framework dubbed NOTEARS for learning Bayesian networks. We first generalize existing algebraic characterizations of acyclicity to a class of matrix polynomials. Next, focusing on a one-parameter-per-edge setting, it is shown that the Karush-Kuhn-Tucker (KKT) optimality conditions for the NOTEARS formulation cannot be satisfied except in a trivial case, which explains a behavior of the associated algorithm. We then derive the KKT conditions for an equivalent reformulation, show that they are indeed necessary, and relate them to explicit constraints that certain edges be absent from the graph. If the score function is convex, these KKT conditions are also sufficient for local minimality despite the non-convexity of the constraint. Informed by the KKT conditions, a local search post-processing algorithm is proposed and shown to substantially and universally improve the structural Hamming distance of all tested algorithms, typically by a factor of 2 or more. Some combinations with local search are both more accurate and more efficient than the original NOTEARS.

연구 동기 및 목표

• 기존 NOTEARS 수식이 실증적으로 성공함에도 불구하고 정확히 비순환적 해에 수렴하지 못하는 이유를 이해하기 위해.
• 원래 매개변수화 방식 하에서 NOTEARS 수식의 KKT 조건에 존재하는 이론적 결함을 규명하기 위해.
• 최적성에 대해 타당한 KKT 조건을 만족하는 NOTEARS 프레임워크의 재정의를 개발하기 위해.
• 유도된 KKT 조건을 기반으로 한 국소 탐색 알고리즘 KKTS를 설계하여 구조적 정확도를 향상시키기 위해.
• 기존 알고리즘과 결합했을 때 항상 구조적 해밍 거리(SHD)를 감소시키며, 효율성은 유지하거나 향상시키는 것을 입증하기 위해.

제안 방법

• 양수 계수를 가진 행렬 다항식의 일반화된 비순환성 제약 조건을 제안하고, 이들의 트레이스가 DAG를 특징짓는다는 것을 보여준다.
• 원래 NOTEARS 수식(제곱 매개변수를 사용)이 비자명한 경우를 제외하고는 KKT 조건을 만족할 수 없다는 점을 규명한다.
• 인접행렬을 정의하기 위해 매개변수의 절대값을 사용하는 등가의 재정의를 제안하여 타당한 KKT 조건을 가능하게 한다.
• 재정의된 문제에 대한 KKT 조건을 도출하고, 이들이 국소 최적성에 필수적임을 보이며, 점수 함수가 볼록할 경우 충분함을 보인다.
• KKT 조건을 이행하기 위해 사이클을 깨뜨리기 위해 간선 부재 제약 조건을 동적으로 추가, 제거, 반전시키는 KKTS 알고리즘을 설계한다.
• 기존 알고리즘(예: NOTEARS, FGS, MMHC, PC)과 KKTS를 조합하여 속도를 희생하지 않고 SHD를 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 NOTEARS 알고리즘이 높은 페널티 매개변수를 사용함에도 불구하고 정확히 비순환적 해에 수렴하지 못하는 이유는 무엇인가?
• RQ2 Karush-Kuhn-Tucker (KKT) 조건은 NOTEARS 수식에 의미적으로 적용될 수 있는가? 만약 불가능하면 그 이유는 무엇인가?
• RQ3 제곱 대신 절대값을 사용한 인접행렬의 재정의가 타당한 최적화 문제를 만들어내며, 타당한 KKT 조건을 만족하는가?
• RQ4 KKT 조건은 비순환성을 보장하는 간선 부재 제약 조건으로 명시적으로 해석될 수 있는가?
• RQ5 KKT 조건을 기반으로 한 국소 탐색 알고리즘이 기존 DAG 학습 방법의 구조적 정확도를 어느 정도 향상시킬 수 있는가?

주요 결과

• 제곱 매개변수를 사용한 원래 NOTEARS 수식은 비자명한 경우를 제외하고는 KKT 조건을 만족할 수 없으며, 이는 정확히 비순환 그래프에 수렴하지 못하는 이유를 설명한다.
• 절대값을 사용한 재정의된 NOTEARS는 타당한 KKT 조건을 제공하며, 이는 국소 최적성에 필수적이며, 점수 함수가 볼록할 경우 충분하다.
• KKT 조건는 간선 부재가 사이클을 방지하기 위해 반드시 필요하고 충분해야 한다는 조건으로 해석될 수 있으며, 이는 구조적 의미를 제공한다.
• KKT 조건를 기반으로 한 제안된 KKTS 알고리즘은 모든 테스트된 알고리즘과 데이터셋에서 구조적 해밍 거리(SHD)를 최소 2배 이상 감소시킨다.
• NOTEARS와 KKTS를 조합하면 새로운 최신 기술 수준의 정확도를 달성하며, FGS, MMHC, PC와의 조합 역시 SHD를 향상시키고 런타임을 종종 감소시킨다.
• KKTS의 성능 향상은 차원 수(d=10에서 d=100)와 잡음 유형(Gaussian 및 지수형) 및 표본 크기(n=d 및 n=2d)에 관계없이 일관되게 유지된다.