[논문 리뷰] Selective Greedy Equivalence Search: Finding Optimal Bayesian Networks Using a Polynomial Number of Score Evaluations

David Maxwell Chickering, Christopher Meek|arXiv (Cornell University)|2015. 06. 06.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 6

한 줄 요약

이 논문은 선택적 그레디 등가성 탐색(Selective Greedy Equivalence Search, SGES)을 소개한다. SGES는 유전성 및 등가성 불변 그래프 성질에 기반한 간선 삭제 연산자 제약을 통해 대규모 표본 일致성을 유지하는, 다항시간 변종인 그레디 등가성 탐색(Greedy Equivalence Search, GES)의 변형이다. SGES는 유계 v-폭, 최대 부모 수 또는 클리크 크기 등의 제약 조건이 만족될 경우 점수 평가 횟수를 다항시간으로 줄이며 점차적 최적성도 보장한다.

ABSTRACT

We introduce Selective Greedy Equivalence Search (SGES), a restricted version of Greedy Equivalence Search (GES). SGES retains the asymptotic correctness of GES but, unlike GES, has polynomial performance guarantees. In particular, we show that when data are sampled independently from a distribution that is perfect with respect to a DAG ${\cal G}$ defined over the observable variables then, in the limit of large data, SGES will identify ${\cal G}$'s equivalence class after a number of score evaluations that is (1) polynomial in the number of nodes and (2) exponential in various complexity measures including maximum-number-of-parents, maximum-clique-size, and a new measure called {\em v-width} that is at least as small as---and potentially much smaller than---the other two. More generally, we show that for any hereditary and equivalence-invariant property $Π$ known to hold in ${\cal G}$, we retain the large-sample optimality guarantees of GES even if we ignore any GES deletion operator during the backward phase that results in a state for which $Π$ does not hold in the common-descendants subgraph.

연구 동기 및 목표

• 베이지안 네트워크 학습에서 그레디 등가성 탐색(Greedy Equivalence Search, GES)의 지수적 최악의 복잡도 문제를 해결하기 위해.
• 실제 구조적 제약 조건 하에서 다항시간 성능을 보장하는 GES의 변종을 개발하기 위해.
• 그래프 이론적 성질을 이용해 탐색 공간을 제약함과 동시에 GES의 대규모 표본 일치성을 유지하기 위해.
• 기존의 최대 부모 수나 클리크 크기보다 더 날카운 성능 바운드를 제공하는 새로운 복잡도 측정 기준인 v-폭을 도입하기 위해.
• 모르는 구조적 성질 위반을 일으키는 삭제 연산자를 무시하더라도 SGES가 점차적 정확성을 유지함을 증명하기 위해.

제안 방법

• SGES는 공통 후손 부분그래프에서 알려진 유전성 및 등가성 불변 성질 Π를 위반하는 상태를 초래하는 간선 삭제 연산자를 제거함으로써 GES의 역행 단계를 제약한다.
• 이 알고리즘은 항상 최대 클리크 크기 및 최대 부모 수 이하인 새로운 그래프 복잡도 측정 기준인 v-폭을 활용한다.
• 역행 단계 동안은 X, Y 및 그들의 공통 후손에 의해 유도된 부분그래프에서 Π를 유지하는 간선 삭제만 고려된다.
• 구조적 제약 조건(예: 유계 v-폭)이 만족될 경우, 점수 평가 횟수는 노드 수에 대해 다항식 시간으로 유지된다.
• 모든 유효한 삭제 연산자가 Π를 유지하는 경우에 효율적으로 식별 가능하며, 이러한 연산자가 점차적 최적성에 충분함을 보여주는 이론적 결과에 기반한다.
• 전진 단계는 명시되지 않았지만, 다항 수의 점수 호출을 수행하는 모든 구현 방식에 대해 분석 결과가 성립한다.

실험 결과

연구 질문

• RQ1 GES는 실질적인 구조적 제약 조건 하에서 대규모 표본 일치성을 유지하면서 다항시간 성능을 달성하도록 수정할 수 있는가?
• RQ2 어떤 구조적 제약 조건이 베이지안 네트워크 구조 학습에서 다항 수의 점수 평가 횟수를 가능하게 하는가?
• RQ3 기존의 최대 부모 수나 클리크 크기와 비교해 새로운 v-폭 측정 기준은 탐색 공간의 바운드를 어떻게 향상시키는가?
• RQ4 역행 단계를 삭제 연산자가 알려진 그래프 이론적 성질을 유지하는 경우에만 고려하도록 제약할 수 있는가, 이로 인해 최적성 손실가 발생하지 않는가?
• RQ5 어떤 조건에서만 다항 수의 점수 평가 횟수로 최적의 등가 클래스를 확보할 수 있는가?

주요 결과

• SGES는 점차적 일치성을 보장한다: 대규모 표본 근처에서, 데이터가 진짜 DAG ${\cal G}$에 대해 완벽할 경우, 올바른 등가 클래스를 식별한다.
• 생성 구조가 유계 v-폭, 최대 부모 수 또는 최대 클리크 크기를 갖는 경우, SGES가 요구하는 점수 평가 횟수는 노드 수에 대해 다항식이다.
• v-폭은 항상 최대 클리크 크기 및 최대 부모 수 이하이며, 필요한 점수 평가 횟수에 대해 더 날카운 바운드를 제공하는 새로운 복잡도 측정 기준이다.
• SGES는 공통 후손 부분그래프에서 알려진 유전성 및 등가성 불변 성질 Π를 위반하는 삭제 연산자를 무시하더라도 최적성을 유지한다.
• 이론적 분석 결과, 제약 조건이 적용될 경우 각 단계에서 평가되어야 할 간선 삭제 연산자의 수가 다항식임을 보여준다.
• 전진 단계의 구현 방식과는 무관하게 결과가 성립하며, 다항 수의 점수 호출을 수행하는 한 성립한다.