[논문 리뷰] Graphical Models as Block-Tree Graphs

Divyanshu Vats, José M. F. Moura|arXiv (Cornell University)|2010. 07. 04.

Graph Theory and Algorithms참고 문헌 46인용 수 3

한 줄 요약

이 논문은 그래픽 모델에서 효율적인 추론을 위한 새로운 프레임워크인 블록트리 그래프를 소개한다. 여기서 노드의 클러스터는 교차하지 않는 방식으로 구성되며, 조인션 트리에서처럼 겹치는 방식이 아니다. 경계값 문제를 초깃값 문제로 변환하고 가우시안 모델에 대해 선형 상태공간 표현을 가능하게 함으로써, 블록트리 그래프는 스팸닝 블록트리에 의한 보다 빠른 수렴을 보이는 근사 추정을 지원하며, 격자형 및 스몰월드 그래프에서 스팸닝 트리보다 수렴 속도가 빠르다.

ABSTRACT

We introduce block-tree graphs as a framework for deriving efficient algorithms on graphical models. We define block-tree graphs as a tree-structured graph where each node is a cluster of nodes such that the clusters in the graph are disjoint. This differs from junction-trees, where two clusters connected by an edge always have at least one common node. When compared to junction-trees, we show that constructing block-tree graphs is faster, and finding optimal block-tree graphs has a much smaller search space. Applying our block-tree graph framework to graphical models, we show that, for some graphs, e.g., grid graphs, using block-tree graphs for inference is computationally more efficient than using junction-trees. For graphical models with boundary conditions, the block-tree graph framework transforms the boundary valued problem into an initial value problem. For Gaussian graphical models, the block-tree graph framework leads to a linear state-space representation. Since exact inference in graphical models can be computationally intractable, we propose to use spanning block-trees to derive approximate inference algorithms. Experimental results show the improved performance in using spanning block-trees versus using spanning trees for approximate estimation over Gaussian graphical models.

연구 동기 및 목표

• 사이클을 포함한 그래픽 모델에서 정확한 추론의 계산 비용이 과도한 문제를 해결하기 위해, 특히 고트리위드스 케이스에 대해.
• 최적의 트리형 구조 표현을 위한 탐색 공간을 줄여 조인션 트리의 더 스케일러블한 대안을 개발하기 위해.
• 경계값 문제를 초깃값 문제로 변환함으로써, 가우시안 그래픽 모델에 대해 재귀적이고 상태공간 표현을 가능하게 하기 위해.
• 스패닝 블록트리를 사용하여 근사 추론 알고리즘의 수렴 속도를 높이기 위해.
• 센서 네트워크, 이미지 처리, 영상 감시와 같은 복잡한 그래프 구조를 가진 응용 분야에서 추정 성능을 향상시키기 위해.

제안 방법

• 블록트리 그래프를 정의한다: 트리형 구조의 그래프로서 클러스터가 상호 배타적이며, 블록폭은 최대 클러스터 크기로 정의한다.
• 루트 클러스터를 선택하고 반복적으로 인접한 클러스터를 찾는 방식으로 블록트리 그래프를 구성하며, 이는 유일하게 구조를 결정한다.
• 블록트리 프레임워크를 사용하여 그래픽 모델 내의 경계값 문제를 초깃값 문제로 변환한다.
• 블록트리 구조를 활용하여 가우시안 그래픽 모델에 대해 선형 상태공간 모델을 유도한다.
• 스패닝 블록트리를 근사 추론을 위한 히우리스틱으로 제안하며, 잔차 오차 최소화 기반으로 가중치를 반복적으로 갱신한다.
• 정밀도 행렬에서 유도된 가중치가 부여된 그래프를 기반으로 알고리즘 2를 사용하여 B-폭 스팸닝 블록트리를 계산한다.

실험 결과

연구 질문

• RQ1 블록트리 그래프는 사이클을 포함한 그래픽 모델의 트리형 구조 표현을 위한 조인션 트리보다 더 효율적인 대안이 될 수 있는가?
• RQ2 블록트리 프레임워크는 그래픽 모델에서 경계값 문제를 초깃값 문제로 어떻게 변환할 수 있는가?
• RQ3 블록트리 그래프는 가우시안 그래픽 모델에 대해 선형 상태공간 표현을 어느 정도 지원할 수 있는가?
• RQ4 스패닝 블록트리를 사용할 경우, 스팸닝 트리 대비 근사 추정 알고리즘의 수렴 속도가 더 빠른가?
• RQ5 블록트리 프레임워크는 이산 그래픽 모델에 대해 근사 추론에 효과적으로 적용될 수 있는가?

주요 결과

• 스패닝 블록트리는 격자형 및 스몰월드 그래프에서 스팸닝 트리보다 가우시안 그래픽 모델의 근사 추정에서 유의미하게 더 빠른 수렴을 이룬다.
• 50×50 격자형 그래프에서, 블록폭 3과 5를 가진 스팸닝 블록트리를 사용한 추정은 스팸닝 트리보다 더 빠른 수렴을 보였다. 그림 8에서 확인할 수 있다.
• 70×70 격자형 그래프에서도 동일한 경향이 관찰되었으며, 스팸닝 블록트리는 각 반복 단계에서 더 낮은 잔차 오차를 달성했다.
• 두 개의 고차수 허브 노드를 가진 15×15 격자형 그래프에서, 스팸닝 블록트리(BT-2 및 BT-3)는 추정 및 오차 공분산 수렴 모두에서 스팸링 트리보다 뛰어난 성능을 보였다. 그림 9에서 확인할 수 있다.
• 블록트리 프레임워크는 자연스러운 초깃값 문제 설정을 가능하게 하여, 재귀적 추정 및 스무딩 알고리즘을 단순화한다.
• 블록트리 그래프의 구성은 조인션 트리 구성보다 더 단순하고 빠르며, 전체 그래프 지식이 아닌 루트 클러스터만 필요하다.