[논문 리뷰] A Graphical Transformation for Belief Propagation: Maximum Weight Matchings and Odd-Sized Cycles

Sungsoo Ahn, Michael Chertkov외 3명|arXiv (Cornell University)|2013. 06. 05.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 6

한 줄 요약

이 논문은 최대 무게 매칭(MWM) 문제에서 선형계획법(LP) 타이트닝을 위해 사이클 부등식을 추가할 경우에도 정확한 MAP 해로 수렴하도록 보장하는 최대 제품 신뢰 전파(BP)를 위한 새로운 그래픽스 변환을 제안한다. 핵심 기여는 원래 그래픽스 모델을 변환하여, 변환된 LP 타이트닝이 성립할 경우 BP가 최적의 MWM 할당으로 수렴하도록 하는 새로운 설정을 만드는 것이다. 이는 이전에 문제가 되었던 조건 하에서 BP의 정확성을 복원한다.

ABSTRACT

We study the Maximum Weight Matching (MWM) problem for general graphs through the max-product Belief Propagation (BP) and related Linear Programming (LP). The BP approach provides distributed heuristics for finding the Maximum A Posteriori (MAP) assignment in a joint probability distribution represented by a Graphical Model (GM) and respective LPs can be considered as continuous relaxations of the discrete MAP problem. It was recently shown that a BP algorithm converges to the correct MWM assignment under a simple GM formulation of MAP/MWM as long as the corresponding LP relaxation is tight. First, under the motivation for forcing the tightness condition, we consider a new GM formulation of MWM, say C-GM, using non-intersecting odd-sized cycles in the graph: the new corresponding LP relaxation, say C-LP, becomes tight for more MWM instances. However, the tightness of C-LP now does not guarantee such convergence and correctness of the new BP on C-GM. To address the issue, we introduce a novel graph transformation applied to C-GM, which results in another GM formulation of MWM, and prove that the respective BP on it converges to the correct MAP/MWM assignment as long as C-LP is tight. Finally, we also show that C-LP always has half-integral solutions, which leads to an efficient BP-based MWM heuristic consisting of making sequential, `cutting plane', modifications to the underlying GM. Our experiments show that this BP-based cutting plane heuristic performs as well as that based on traditional LP solvers.

연구 동기 및 목표

• MWM 문제의 LP 타이트닝을 위해 사이클 부등식을 추가할 경우, 최대 제품 신뢰 전파(BP)가 정확히 수렴하지 못하는 문제를 해결하기 위해.
• 기존 그래프의 변환을 통해 새로운 그래픽스 모델 설정을 도입함으로써 MWM에서 BP 수렴성과 정확성을 복원하기 위해.
• 변환에 의해 MAP 해가 그대로 유지되며, 새로운 LP 타이트닝이 성립할 경우 BP가 수렴하도록 보장하기 위해.
• 순차적인 컷 플레인 수정을 활용한 BP 기반 히ュ리스틱을 개발하여, 전통적인 LP 솔버와 비교해 유사한 성능을 달성하기 위해.

제안 방법

• 원래 MWM 문제에 교차하지 않는 홀수 크기의 사이클 제약 조건을 추가하여 LP 타이트닝을 강화한 C-LP를 얻기 위해 새로운 그래픽스 모델 설정 C-GM을 도입한다.
• 홀수 사이클을 새로운 정점으로 압축하고 간선 가중치를 재정의함으로써, 새로운 그래픽스 모델 C-GM′을 얻는 새로운 그래프 변환을 제안한다.
• C-LP가 타이트할 경우에만 C-GM′에서 BP가 정확한 MAP/MWM 할당으로 수렴함을 증명함으로써, 수렴 보장을 복원한다.
• 계산 트리 기법을 사용하여 변환된 모델에서 BP의 수렴성과 정확성을 분석한다.
• 순차적으로 홀수 사이클 제약 조건을 추가하는 BP 기반 컷 플레인 히ュ리스틱을 설계하며, 새로운 변환을 활용해 BP 수렴성을 유지한다.
• C-LP는 항상 반정수 해를 갖는다. 이는 LP 타이트닝의 효율적 순차적 개선을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사이클 제약 조건이 추가된 MWM 인스턴스에서, 최대 제품 신뢰 전파(BP)가 LP 타이트닝을 위해 수렴할 수 있는가?
• RQ2 MAP 해를 유지하면서도 LP 타이트닝 조건에서 BP 수렴성을 복원하는 그래픽스 변환은 무엇인가?
• RQ3 중앙집중식 LP 솔버와 유사한 성능을 내는 분산형, 반복적 해법으로서 BP를 MWM에 적용할 수 있는가?
• RQ4 홀수 사이클 제약 조건이 추가된 MWM의 LP 타이트닝이 항상 반정수 해를 갖는다고 보장할 수 있는가? 이는 효율적 순차적 개선을 가능하게 한다.
• RQ5 LP 타이트닝은 성립하지만 BP가 실패하는 비트리 구조 그래픽스 모델에서 BP 수렴성을 어떻게 복원할 수 있는가?

주요 결과

• 제안된 그래픽스 변환은 C-LP 타이트닝이 성립할 경우에만 C-GM′에서 최대 제품 신뢰 전파(BP)가 정확한 MWM 할당으로 수렴함을 보장한다.
• 원래 C-GM와 변환된 C-GM′ 간의 MAP 할당은 일대일 대응 관계를 유지하므로 해의 무결성이 보존된다.
• C-LP 타이트닝은 항상 반정수 해를 갖는다. 이는 효율적인 BP 기반 컷 플레인 히ュ리스틱 설계를 가능하게 한다.
• 순차적 홀수 사이클 제약 조건을 적용하는 BP 기반 히ュ리스틱은 실험 결과 기존의 전통적 LP 솔버와 유사한 성능을 보였다.
• 이 변환 덕분에 표준 BP가 동일한 문제 인스턴스에서 사이클 제약 조건 추가로 인해 실패할 경우에도 BP가 정확성과 수렴성을 유지할 수 있다.
• 이 방법은 대규모 MWM 문제에 대해 중앙집중식 LP 솔버의 대안으로서 분산 메시지 전달 방식을 제공하며, 타이트닝 조건에서 수렴성이 보장된다.