[논문 리뷰] Convergent message passing algorithms - a unifying view

Talya Meltzer, Amir Globerson외 1명|arXiv (Cornell University)|2012. 05. 09.

Error Correcting Code Techniques참고 문헌 15인용 수 105

한 줄 요약

이 논문은 그래픽 모델에서 수렴하는 메시지 전달 알고리즘을 위한 통합 프레임워크인 트리-일致성 경계 최적화(TCBO)를 제안한다. 추상적 변분 최적화를 통해 수렴성이 보장되는 알고리즘을 유도함으로써, 저자들은 기존의 다양한 수렴성 보장 알고리즘들이 TCBO의 특수한 경우임을 보이고, 기존 알고리즘에서 최대화와 합산 연산을 교환함으로써 새로운 수렴성 보장 버전을 유도한다—이를 통해 수렴성 보장이 있는 추론 방법을 체계적으로 설계할 수 있는 방법을 제공한다.

ABSTRACT

Message-passing algorithms have emerged as powerful techniques for approximate inference in graphical models. When these algorithms converge, they can be shown to find local (or sometimes even global) optima of variational formulations to the inference problem. But many of the most popular algorithms are not guaranteed to converge. This has lead to recent interest in convergent message-passing algorithms. In this paper, we present a unified view of convergent message-passing algorithms. We present a simple derivation of an abstract algorithm, tree-consistency bound optimization (TCBO) that is provably convergent in both its sum and max product forms. We then show that many of the existing convergent algorithms are instances of our TCBO algorithm, and obtain novel convergent algorithms "for free" by exchanging maximizations and summations in existing algorithms. In particular, we show that Wainwright's non-convergent sum-product algorithm for tree based variational bounds, is actually convergent with the right update order for the case where trees are monotonic chains.

연구 동기 및 목표

• 그래픽 모델에서 근사 추론을 위한 인기 있는 메시지 전달 알고리즘들에 대한 수렴 보장의 부재를 해결하기 위해.
• 다양한 수렴성 보장 메시지 전달 알고리즘들을 하나의 이론적 프레임워크로 통합하기 위해.
• 기존 접근법을 일반화하고 새로운 수렴성 보장 버전을 체계적으로 설계할 수 있는 수렴성 보장이 입증된 알고리즘을 도출하기 위해.
• 비수렴 알고리즘(예: 와인트라이트의 합-곱 알고리즘)이 적절한 업데이트 순서를 통해 수렴 가능해지는 조건을 명확히 하기 위해.

제안 방법

• 이중 분해 접근법을 사용하여 변분 경계를 최적화하는 추상 알고리즘인 트리-일치성 경계 최적화(TCBO)를 제안한다.
• TCBO의 합-곱 및 최대-곱 형태를 도출하여, 볼록 최적화 프레임워크를 통해 수렴성을 보장한다.
• TCBO 업데이트가 볼록 이중 함수의 연속적인 최소화임을 보여줌으로써 수렴성을 확립한다.
• 기존의 수렴성 보장 알고리즘(예: TRW-S, 순차적 트리 재중량화)이 특정 매개변수 설정 하에서 TCBO의 특수한 경우임을 보여준다.
• 기존 알고리즘에서 최대화와 합산 연산을 교환하는 변환을 도입하여 새로운 수렴성 보장 버전을 생성한다.
• 와인트라이트의 비수렴 합-곱 알고리즘이 적절한 업데이트 순서를 갖는 단조성 사슬 구조에 적용될 경우 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 그래픽 모델에서 기존의 수렴성 보장 메시지 전달 알고리즘들을 하나의 프레임워크로 통합할 수 있는가?
• RQ2 변분 추론을 위한 메시지 전달 알고리즘에서 수렴성을 보장하는 조건은 무엇인가?
• RQ3 비수렴 알고리즘은 구조적 또는 업데이트 순서의 수정을 통해 수렴 가능하게 만들 수 있는가?
• RQ4 기존 알고리즘으로부터 새로운 수렴성 보장 메시지 전달 알고리즘을 어떻게 체계적으로 도출할 수 있는가?
• RQ5 합-곱 및 최대-곱 메시지 전달에 대해 수렴성을 보장하는 일반적인 변분 공식은 존재하는가?

주요 결과

• 제안된 TCBO 알고리즘은 합-곱 및 최대-곱 형태 모두에서 수렴성이 보장되어 있으며, 통합적이고 이론적으로 탄탄한 프레임워크를 제공한다.
• TRW-S 및 순차적 트리 재중량화 알고리즘을 포함한 많은 기존 수렴성 보장 알고리즘들이 TCBO의 특수한 경우로 밝혀졌다.
• 기존 알고리즘에서 최대화와 합산 연산을 교환함으로써 새로운 수렴성 보장 버전을 도출할 수 있으며, 이는 체계적인 알고리즘 설계를 가능하게 한다.
• 이전에는 수렴 보장이 없었으나, 적절한 업데이트 순서를 갖는 단조성 사슬 구조에 적용될 경우 와인트라이트의 합-곱 알고리즘이 수렴함을 증명하였다.
• 이 프레임워크는 비수류 구조 모델에서도 적절한 이중 분해와 볼록 최적화를 통해 수렴이 달성될 수 있음을 드러냈다.