[논문 리뷰] Structure learning in polynomial time: Greedy algorithms, Bregman information, and exponential families

Goutham Rajendran, Bohdan Kivva외 2명|arXiv (Cornell University)|2021. 10. 10.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 지수족에서 유도된 브레그만 정보 점수를 활용하여 다항 시간 내에 베이지안 네트워크 구조를 학습하는 정점 기반 그림자 전진-후진 알고리즘을 제안한다. GES와 같은 간선 기반 그림자 방법과는 달리, 이 알고리즘은 증명 가능한 다항 시간 복잡도를 확보하고 적절한 점수 함수 하에 참값 DAG를 복원한다. 이는 순서 기반 및 점수 기반 접근법을 통합하면서도 다양한 분포에서 뛰어난 경험적 성능을 보인다.

ABSTRACT

Greedy algorithms have long been a workhorse for learning graphical models, and more broadly for learning statistical models with sparse structure. In the context of learning directed acyclic graphs, greedy algorithms are popular despite their worst-case exponential runtime. In practice, however, they are very efficient. We provide new insight into this phenomenon by studying a general greedy score-based algorithm for learning DAGs. Unlike edge-greedy algorithms such as the popular GES and hill-climbing algorithms, our approach is vertex-greedy and requires at most a polynomial number of score evaluations. We then show how recent polynomial-time algorithms for learning DAG models are a special case of this algorithm, thereby illustrating how these order-based algorithms can be rigourously interpreted as score-based algorithms. This observation suggests new score functions and optimality conditions based on the duality between Bregman divergences and exponential families, which we explore in detail. Explicit sample and computational complexity bounds are derived. Finally, we provide extensive experiments suggesting that this algorithm indeed optimizes the score in a variety of settings.

연구 동기 및 목표

• DAG 학습을 위한 전통적인 그림자 점수 기반 알고리즘(예: GES)에서 다항 시간 보장을 확보하지 못하는 문제를 해결하기 위해.
• 일반적인 그림자 프레임워크를 통해 순서 기반 알고리즘(예: 순서 탐색)과 점수 기반 방법을 통합하기 위해.
• 분포에 관계없이 적용 가능한 새로운 점수 함수 가족을 개발하기 위해. 이는 다항 시간 최적화에 적합하다.
• 일반 문제의 NP-난이도에도 불구하고, 특정 조건 하에서 점수 함수를 전역적으로 최적화하는 데에 알고리즘이 성공한다는 이론적 및 경험적 증거를 제공하기 위해.
• 다양한 지수족 모델에서 제안된 알고리즘의 계산 복잡도 및 표본 복잡도의 한계를 설정하기 위해.

제안 방법

• 정점 기반 그림자 전진-후진 알고리즘을 도입하여, 간선이 아닌 정점의 위상 순서로 추가함으로써 변수 수에 대해 다항 수준의 점수 평가 횟수로 감소시킨다.
• 브레그만 발산과 지수족 간의 이중성에서 유도된 브레그만 정보를 기반으로 하는 일반 점수 함수를 정의함으로써, 분포에 관계없이 적용 가능한 점수 평가를 가능하게 한다.
• 지역 점수 계산을 위해 일반화된 가산 모델(GAM) 또는 일반 최소 제곱법을 사용하여 조건부 기대값을 추정하고, 후진 단계에서 유의미하지 않은 간선을 제거하기 위해 임계값을 적용한다.
• 적절한 점수 함수를 선택함으로써 기존의 순서 기반 알고리즘(예: [22, 10, 23]에서 제시된 것들)을 제안된 프레임워크의 특수한 경우로 재해석한다.
• 두 단계의 그림자 전략을 적용한다: 전진 단계에서는 위상 순서로 정점을 추가하고, 후진 단계에서는 유의미한 간선을 기준으로 하향 조정한다.
• 선형, 가우시안, 스튜던트의 t, 군발 분포 노이즈 모델에 대해 적용하고, SHD 및 브레그만 점수 지표를 사용하여 Gobnilp, NOTEARS, GDS, GES와 광범위하게 비교한다.

실험 결과

연구 질문

• RQ1 DAG 구조 학습을 위한 그림자 알고리즘이 일관성과 최적성 유지 하에 다항 시간 복잡도를 확보할 수 있는가?
• RQ2 어떻게 순서 기반 알고리즘을 공식적으로 점수 기반 최적화 프레임워크와 연결할 수 있는가?
• RQ3 어떤 점수 함수 가족이 다항 시간 전역 최적화를 가능하게 하는가?
• RQ4 일반 문제의 NP-난이도에도 불구하고, 제안된 알고리즘이 실질적으로 점수 함수를 전역적으로 최적화하는가?
• RQ5 제안된 브레그만 정보 점수의 성능은 다양한 노이즈 분포와 표본 크기에서 어떻게 나타나는가?

주요 결과

• 제안된 정점 기반 그림자 알고리즘은 최대 다항 수준의 점수 평가 횟수를 요구하여, GES와 같은 간선 기반 그림자 방법에 비해 상당한 향상을 이룬다. 이는 이러한 방법들이 그러한 보장을 갖지 못한다는 점을 감안할 때 의미가 있다.
• 지수족에서 유도된 브레그만 정보 점수를 사용할 경우, 적절한 가정 하에 참값 DAG의 구조를 증명 가능하게 복원한다.
• 경험적 결과로는, 여러 노이즈 분포(Gaussian, t, Gumbel)와 차원(d=20,30)에서 GES, GDS, NOTEARS보다 낮은 구조적 해밍 거리(SHD)를 기록한다.
• 추정된 DAG의 브레그만 점수는 전진 단계에서 매번 단조롭게 증가하고 후진 단계에서 안정화되며, 효과적인 점수 최적화를 나타낸다.
• 더 큰 그래프(d>10)에서는 Gobnilp에 비해 계산 효율성이 뛰어나면서도 경쟁 가능한 SHD 및 점수 값을 유지한다.
• 비정규 노이즈에 대해서도 강건성을 보이며, 가우시안, t, 군발 분포 오차에서 일관된 성능을 기록함으로써 광범위한 적용 가능성을 시사한다.