[논문 리뷰] On Triangulating Dynamic Graphical Models

Jeff Bilmes, Chris Bartels|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 28

한 줄 요약

이 논문은 동적 그래픽 모델(DGMs)과 동적 베이지안 네트워크(DBNs)의 삼각분할을 위한 경계 알고리즘을 제안하며, 방향성 구조가 아닌 유도된 무방향 그래프를 통해 문제를 다룸으로써 우수한 제거 순서를 가능하게 한다. 표준 슬라이스 단위 방법에 비해 열등한 성능을 보였던 삼각분할 공간을 해제하고, 최적의 분할 경계를 찾음으로써 최대 클리크 크기와 상태공간 복잡도를 크게 감소시켜 뛰어난 삼각분할 품질을 달성한다.

ABSTRACT

This paper introduces new methodology to triangulate dynamic Bayesian networks (DBNs) and dynamic graphical models (DGMs). While most methods to triangulate such networks use some form of constrained elimination scheme based on properties of the underlying directed graph, we find it useful to view triangulation and elimination using properties only of the resulting undirected graph, obtained after the moralization step. We first briefly introduce the Graphical model toolkit (GMTK) and its notion of dynamic graphical models, one that slightly extends the standard notion of a DBN. We next introduce the 'boundary algorithm', a method to find the best boundary between partitions in a dynamic model. We find that using this algorithm, the notions of forward- and backward-interface become moot - namely, the size and fill-in of the best forward- and backward- interface are identical. Moreover, we observe that finding a good partition boundary allows for constrained elimination orders (and therefore graph triangulations) that are not possible using standard slice-by-slice constrained eliminations. More interestingly, with certain boundaries it is possible to obtain constrained elimination schemes that lie outside the space of possible triangulations using only unconstrained elimination. Lastly, we report triangulation results on invented graphs, standard DBNs from the literature, novel DBNs used in speech recognition research systems, and also random graphs. Using a number of different triangulation quality measures (max clique size, state-space, etc.), we find that with our boundary algorithm the triangulation quality can dramatically improve.

연구 동기 및 목표

• 표준 슬라이스 단위 제거 순서를 초월하여 동적 그래픽 모델(DGMs)과 동적 베이지안 네트워크(DBNs)에서 삼각분할 품질을 향상시키는 것.
• DBNs에서 방향성 그래프 구조에 기반한 제약 있는 제거 계획의 한계를 해결하는 것.
• 삼각분할 과정에서 필르인과 클리크 크기를 최소화하는 최적의 분할 경계를 식별하는 것.
• 경계 기반 방법이 비제약 또는 표준 제약 제거 방법으로는 접근할 수 없는 삼각분할 공간에 도달할 수 있음을 보여주는 것.
• 다양한 삼각분할 품질 측정 기준을 사용하여 합성, 표준, 음성 인식 기반 DBNs에 대해 방법을 평가하는 것.

제안 방법

• 동적 모델 내 전진 및 후진 인터페이스 사이의 최적 분할 경계를 계산하기 위해 경계 알고리즘을 제안한다.
• 삼각분할 문제를 원래의 방향성 구조를 무시하고, 도미나라이제이션 이후에 얻어진 무방향 그래프만을 사용하여 다룬다.
• 기존의 전진 및 후진 인터페이스 개념을 통합된 경계 기반 접근 방식으로 대체하며, 최적의 분할에서 이들의 크기와 필르인이 동일함을 보여준다.
• 표준 슬라이스 단위 제거 방식에서는 불가능한 제약 있는 제거 순서를 경계를 통해 정의한다.
• 만든 그래프, 표준 DBNs, 음성 인식에서 유도된 신규 DBNs, 랜덤 그래프 등 다양한 그래프 유형에 방법을 적용한다.
• 최대 클리크 크기와 상태공간 복잡도와 같은 다수의 삼각분할 품질 측정 기준을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 경계 기반 삼각분할 접근 방식이 동적 그래픽 모델에서 표준 슬라이스 단위 제약 있는 제거 방식을 능가할 수 있는가?
• RQ2 경계 알고리즘이 비제약 제거 또는 표준 제약 제거로는 접근할 수 없는 제거 순서를 가능하게 하는가?
• RQ3 경계 알고리즘이 DBNs와 DGMs에서 최대 클리크 크기와 상태공간 복잡도를 어느 정도 감소시키는가?
• RQ4 경계 알고리즘은 음성 인식 모델과 랜덤 그래프를 포함한 다양한 그래프 유형에서 어떻게 성능을 발휘하는가?
• RQ5 최적의 분할을 사용할 경우 전진 및 후진 인터페이스 간의 구분이 의미가 있는가?

주요 결과

• 경계 알고리즘이 표준 슬라이스 단위 방법보다 뚜렷이 뛰어난 삼각분할 품질을 달성하며, 최대 클리크 크기와 상태공간 복잡도가 유의미하게 감소한다.
• 이 방법은 비제약 또는 표준 제약 제거로는 접근할 수 없는 제약 있는 제거 계획을 가능하게 하여 삼각분할 가능한 공간을 확장한다.
• 최적의 경계 분할에서 최적의 전진 및 후진 인터페이스의 크기와 필르인이 동일하므로, 이들 간의 구분은 의미가 없어진다.
• 문헌에 기록된 표준 DBNs와 신규로 제작된 음성 인식 모델에서 경계 알고리즘은 일관되게 최대 클리크 크기와 상태공간 요구량을 감소시킨다.
• 특히 상태공간 복잡도가 극도로 높은 복잡한 모델, 예를 들어 음성 인식에서 유도된 모델에서는 삼각분할 품질 향상 효과가 두드러진다.
• 만든 그래프, 랜덤 그래프, 실제 응용의 DBNs 전반에 걸쳐 뛰어난 성능을 보이며, 이는 일반화 가능성의 타당성을 확인한다.