[논문 리뷰] Exact and approximate inference in graphical models: variable elimination and beyond

Nathalie Peyrard, Cros, Marie-Josée외 6명|arXiv (Cornell University)|2015. 06. 29.

Bayesian Modeling and Causal Inference참고 문헌 115인용 수 6

한 줄 요약

이 논문은 그래픽 모델에서 변수 제거와 트리너비 기반 추론 기법을 검토하며, 낮은 트리너비가 정확한 추론을 효율적으로 가능하게 한다고 보여준다. 최적의 제거 순서와 루프가 있는 신뢰도 전파와 같은 근사 방법이 정확성과 계산 비용 사이의 근형을 맞추는 데 기여하며, 특히 몽테카를로 방법이 너무 느릴 경우에 특히 그렇다.

ABSTRACT

Probabilistic graphical models offer a powerful framework to account for the dependence structure between variables, which is represented as a graph. However, the dependence between variables may render inference tasks intractable. In this paper we review techniques exploiting the graph structure for exact inference, borrowed from optimisation and computer science. They are built on the principle of variable elimination whose complexity is dictated in an intricate way by the order in which variables are eliminated. The so-called treewidth of the graph characterises this algorithmic complexity: low-treewidth graphs can be processed efficiently. The first message that we illustrate is therefore the idea that for inference in graphical model, the number of variables is not the limiting factor, and it is worth checking for the treewidth before turning to approximate methods. We show how algorithms providing an upper bound of the treewidth can be exploited to derive a 'good' elimination order enabling to perform exact inference. The second message is that when the treewidth is too large, algorithms for approximate inference linked to the principle of variable elimination, such as loopy belief propagation and variational approaches, can lead to accurate results while being much less time consuming than Monte-Carlo approaches. We illustrate the techniques reviewed in this article on benchmarks of inference problems in genetic linkage analysis and computer vision, as well as on hidden variables restoration in coupled Hidden Markov Models.

연구 동기 및 목표

• 그래픽 모델에서 추론 복잡도의 핵심 결정 요소가 변수 수가 아니라 트리너비임을 명확히 하기 위해.
• 변수 제거가 분산, 정규화, 최대값 평가 등 다양한 추론 작업을 통합적으로 처리할 수 있음을 보여주기 위해.
• 트리너비의 상한을 통해 정확한 추론을 위한 효율적인 제거 순서를 유도할 수 있음을 보여주기 위해.
• 트리너비가 너무 높아 정확한 계산이 어려운 경우, 루프가 있는 신뢰도 전파와 변분 접근법과 같은 근사 추론 방법을 권장하기 위해.
• 응용 통계 분야에서 효율적이고 구조 인식 알고리즘을 활용함으로써 통계적 추론과 컴퓨터 과학 간 격차를 메우기 위해.

제안 방법

• 반환, 정규화, 최대값 평가를 모두 변수 제거의 특수한 경우로 표현할 수 있는 통합된 대수적 프레임워크(반환 기반)를 사용한다.
• 대수적 연산자(예: 곱셈이 덧셈에 대해 분배법칙을 적용함)의 분배성 덕분에 변수 제거 과정에서 계산 복잡도를 감소시킨다.
• 알고리즘 복잡도의 척도로 트리너비를 사용하며, 낮은 트리너비일 경우 다항식 시간 내에 정확한 추론이 가능하다.
• 트리너비의 상한을 계산하는 알고리즘을 활용해 근사 최적의 변수 제거 순서를 도출한다.
• 고트리너비 모델에 대해 변수 제거와 루프가 있는 신뢰도 전파 및 변분 근사와 같은 근사 추론 기법을 조합한다.
• 전역 잠재 함수(예: 최소비용 흐름을 통해)와 공액 지수 가족을 통합하여 특정 연속적 또는 구조적 경우에서 정확한 메시지 전달을 가능하게 한다.

실험 결과

연구 질문

• RQ1 트리너비는 그래픽 모델에서 정확한 추론의 가능성을 어떻게 결정짓는가?
• RQ2 변수 제거는 분산, 정규화, 최대값 평가 등 다양한 작업을 통합적으로 적용할 수 있는가?
• RQ3 트리너비의 상한을 통해 정확한 추론을 위한 효율적인 제거 순서를 얼마나 잘 유도할 수 있는가?
• RQ4 고트리너비 모델에서 몽테카를로 샘플링보다 메시지 전달 또는 변분 방법을 통한 근사 추론이 언제 더 유리한가?
• RQ5 정확한 추론 기법과 확률적 방법을 어떻게 조합하여 샘플링 효율성과 정확도를 향상시킬 수 있는가?

주요 결과

• 변수 제거에서 계산 복잡도의 주요 결정 요소는 변수 수가 아니라 트리너비이다.
• 변수 제거는 반환 기반의 통합된 반환 프레임워크를 통해 분산, 정규화, 최대값 평가 등 핵심 추론 작업 전반에 체계적으로 적용될 수 있다.
• 트리너비의 상한을 계산하는 알고리즘을 활용하면 낮은 트리너비 그래프에서 정확한 추론이 가능한 제거 순서를 도출할 수 있다.
• 고트리너비 모델에서는 루프가 있는 신뢰도 전파와 변분 근사가 몽테카를로 방법보다 훨씬 낮은 계산 비용으로 정확한 결과를 제공한다.
• 정확한 최적화(예: 최단 경로, 최소비용 흐름)와 메시지 전달의 통합은 복잡한 전역 잠재 함수가 있는 경우에도 효율적인 추론을 가능하게 한다.
• 최근의 하이브리드 방법(예: 이산 입자 변분 추론)은 몽테카를로 샘플링과 변분 또는 정확한 추론을 조합하여 정확성과 속도의 균형을 이루는 데 유망하다.