[논문 리뷰] Consistent Second-Order Conic Integer Programming for Learning Bayesian Networks

Si̇mge Küçükyavuz, Ali Shojaie외 3명|arXiv (Cornell University)|2020. 05. 29.

Bayesian Modeling and Causal Inference참고 문헌 41인용 수 6

한 줄 요약

이 논문은 연속 데이터로부터 희소 베이지안 네트워크를 학습하기 위해 선형 구조 방정식 모델을 사용하는 일관된 두 번째 차수 원추 혼합정수계획법(MISOCP)을 제안한다. big-M 제약 조건을 두 번째 차수 원추 제약 조건으로 대체하고 조기 정지 기준을 도입함으로써, 연속적 타협 강도를 향상시키고 수렴 속도를 높이며 해의 점근적 일관성을 보장한다. 이는 조밀하고 대규모 네트워크에서 기존의 제약 조건보다 뛰어난 성능을 보인다.

ABSTRACT

Bayesian Networks (BNs) represent conditional probability relations among a set of random variables (nodes) in the form of a directed acyclic graph (DAG), and have found diverse applications in knowledge discovery. We study the problem of learning the sparse DAG structure of a BN from continuous observational data. The central problem can be modeled as a mixed-integer program with an objective function composed of a convex quadratic loss function and a regularization penalty subject to linear constraints. The optimal solution to this mathematical program is known to have desirable statistical properties under certain conditions. However, the state-of-the-art optimization solvers are not able to obtain provably optimal solutions to the existing mathematical formulations for medium-size problems within reasonable computational times. To address this difficulty, we tackle the problem from both computational and statistical perspectives. On the one hand, we propose a concrete early stopping criterion to terminate the branch-and-bound process in order to obtain a near-optimal solution to the mixed-integer program, and establish the consistency of this approximate solution. On the other hand, we improve the existing formulations by replacing the linear "big-$M$" constraints that represent the relationship between the continuous and binary indicator variables with second-order conic constraints. Our numerical results demonstrate the effectiveness of the proposed approaches.

연구 동기 및 목표

• 연속 데이터로부터 베이지안 네트워크의 DAG 구조 학습을 위한 정확한 혼합정수 quadratic programming(MIQP) 제약 조건의 계산적 비가역성 문제를 해결하기 위해.
• 선형 'big-M' 제약 조건을 두 번째 차수 원추 제약 조건으로 대체하여 MIQP 제약 조건의 연속적 타협 강도를 향상시키기 위해.
• 분기소거 알고리즘에서 조기 정지 기준을 설정하여 통계적 최적 조건 하에서 해가 점근적으로 진짜 파라미터를 복원하도록 보장하기 위해.
• 특히 식별 불가능하고 조밀한 네트워크에서 최신 기법들보다 뛰어난 성능을 보여주기 위해.
• 희소 DAG를 학습하기 위한 증명 가능 최적 또는 근사 최적 해 프레임워크를 제공하기 위해.

제안 방법

• big-M 제약 조건 대신 두 번째 차수 원추 제약 조건을 사용하여 베이지안 네트워크 구조 학습을 위한 혼합정수 quadratic 프로그래밍을 재구성함으로써 연속적 타협 강도를 강화한다.
• 분기소거 알고리즘에 새로운 조기 정지 기준을 도입하여, 표본 크기가 증가함에 따라 해가 높은 확률로 진짜 파rameter를 점근적으로 복원하도록 보장한다.
• 추정된 DAG의 희소성과 관련하여 ℓ₀ 정규화를 사용한 벌점 부여된 음의 로그우도(PNL)를 목적 함수로 사용한다.
• 기하학적 순서 제약 조건을 이진 변수를 통해 도입하여 순환성 제약 조건을 충족시키며, 지수적 수준의 사이클 커팅 평면을 대체한다.
• 목적 함수의 볼록 2차 구조와 원추 재구성 구조를 활용하여 계산 효율성과 최적성 갭 수렴 속도를 향상시킨다.
• 실제 및 시뮬레이션 데이터셋을 다양한 네트워크 크기와 조밀도에서 적용하여 성능를 평가한다.

실험 결과

연구 질문

• RQ1 두 번째 차수 원추 제약 조건은 베이지안 네트워크 구조 학습을 위한 MIQP 제약 조건의 연속적 타협 강도를 크게 향상시키는가?
• RQ2 분기소거 알고리즘에서 제안된 조기 정지 기준은 표본 크기가 증가함에 따라 진짜 DAG와 통계적으로 일관된 해를 제공하는가?
• RQ3 비식별 가능하고 조밀한 네트워크에서 기존 big-M MIQP 및 A*-lasso 방법과 비교해 MISOCP 제약 조건은 최적성 갭과 해 품질 측면에서 어떻게 비교되는가?
• RQ4 제안된 방법은 합리적인 시간 내에 중간에서 대규모의 베이지안 네트워크에 대해 증명 가능 최적 또는 근사 최적 해를 달성할 수 있는가?
• RQ5 ℓ₀ 정규화와 원추 재구성은 선형 SEM에서 진짜 인과적 구조 복원에 어떤 영향을 미치는가?

주요 결과

• 두 번째 차수 원추 제약 조건을 사용한 MISOCP 제약 조건은 big-M 제약 조건보다 훨씬 더 타협 강도가 높으며, 특히 조밀하고 대규모 네트워크에서 수렴 속도가 빠르고 최적성 갭이 우수하다.
• Hailfinder(56개 노드) 및 Hepar2(70개 노드) 데이터셋에서 MISOCP 제약 조건은 big-M MIQP보다 최적성 갭을 줄이고 하한값을 향상시켰으며, 하한값이 각각 0.006에서 0.014, 0.011에서 0.014로 증가하였다.
• 대부분의 경우 조기 정지 기준이 분기소거 알고리즘을 1~2분 내에 성공적으로 종료시켰으며, 전체 최적성에 도달하지 못했음에도 불구하고 높은 통계적 일관성의 해를 달성하였다.
• 비식별 가능 데이터셋에서 두 개의 최신 기법(A*-lasso 및 기존 IP 방법)보다 뛰어난 성능를 보였으며, 더 높은 진짜 양성률과 낮은 거짓 탐지율을 기록하였다.
• Galaxy(20개 노드) 및 Insurance(27개 노드) 네트워크에서 MISOCP 제약 조건은 big-M 제약 조건보다 더 낮은 최적성 갭(예: 0.007 vs. 0.015)과 더 나은 하한값을 달성하여 타협 강도 향상을 입증하였다.
• 최소한의 최적성 갭으로 높은 복원률(예: Galaxy의 .955, Insurance의 .981)을 달성하여 다양한 네트워크 구조에서 강력한 통계적 일관성과 강인성을 보였다.