[논문 리뷰] Minimum Weight Perfect Matching via Blossom Belief Propagation

Sungsoo Ahn, Sejun Park외 2명|arXiv (Cornell University)|2015. 09. 23.

Error Correcting Code Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 최소 무게 완전 매칭 문제를 임의의 그래프에서 해결하기 위해 수정된 그래프 위에서 순차적으로 신뢰 전파(BP)를 적용하는 분산 알고리즘 Blossom-BP를 소개한다. 블로섬 수축과 확장 과정을 통해 이루어지며, O(n²)번의 BP 실행으로 수렴을 보장하며, 정수성 갭이 있는 문제에 대한 체계적인 BP 기반 해법을 제공함으로써 에드몬즈의 블로섬 알고리즘의 분산 해석을 가능하게 한다.

ABSTRACT

Max-product Belief Propagation (BP) is a popular message-passing algorithm for computing a Maximum-A-Posteriori (MAP) assignment over a distribution represented by a Graphical Model (GM). It has been shown that BP can solve a number of combinatorial optimization problems including minimum weight matching, shortest path, network flow and vertex cover under the following common assumption: the respective Linear Programming (LP) relaxation is tight, i.e., no integrality gap is present. However, when LP shows an integrality gap, no model has been known which can be solved systematically via sequential applications of BP. In this paper, we develop the first such algorithm, coined Blossom-BP, for solving the minimum weight matching problem over arbitrary graphs. Each step of the sequential algorithm requires applying BP over a modified graph constructed by contractions and expansions of blossoms, i.e., odd sets of vertices. Our scheme guarantees termination in O(n^2) of BP runs, where n is the number of vertices in the original graph. In essence, the Blossom-BP offers a distributed version of the celebrated Edmonds' Blossom algorithm by jumping at once over many sub-steps with a single BP. Moreover, our result provides an interpretation of the Edmonds' algorithm as a sequence of LPs.

연구 동기 및 목표

• LP 연속화가 정수성 갭을 보이는 그래프에서 최소 무게 완전 매칭 문제를 해결하기 위한 체계적이고 분산된 메시지 전달 알고리즘을 개발하는 것.
• 신뢰 전파(BP)를 트리 구조 모델을 초월하여 정수 계획 문제에 적용함으로써, 비타당한 LP 연속화를 가진 조합 최적화 문제에 확장하는 것.
• 에드몬즈의 고전적 블로섬 알고리즘에 대응하는 BP 기반 대체 방법을 제공하여 병렬 및 분산 계산을 가능하게 하는 것.
• 중간 LP를 도입하고 BP 적용을 통해 정수 계획 문제에서 BP 기반 해법의 다항 시간 보장을 확립하는 것.
• 에드몬즈 알고리즘을 해석적으로 다룰 수 있는 다항 시간 해결 가능한 선형 프로그래밍 문제의 시퀀스로 재해석하여 이론적이고 실용적인 이해를 향상시키는 것.

제안 방법

• 알고리즘은 블로섬(홀수 개의 정점 집합으로, LP의 타이트니스를 위반함)을 수축하고 가끔 확장하여 생성된 수정된 그래프 위에서 순차적으로 BP를 적용한다.
• Blossom-LP는 Blossom-V 알고리즘과 동치성을 유지하지만, 최근의 LP-BP 대응 프레임워크를 사용해 BP로 해결 가능한 중간 LP의 시퀀스를 도입한다.
• 각 BP 실행은 정점이 블로섬을 나타내는 수축된 그래프에서 수행되며, 이중 변수를 사용해 간선 가중치를 조정하여 감소된 비용을 반영한다.
• 알고리즘은 사이클-클로-매칭 분해를 사용해 그래프의 구조적 구성 요소를 추적하고 각 반복에서의 정확성을 보장한다.
• 선형 프로그래밍의 보조 조건(보조 조건)을 만족시키기 위해 원래 문제의 매칭( primal )과 이중 변수( dual ) 해 사이에 보조 조건을 강제 적용하여 각 단계에서 최적성을 검증한다.
• Blossom-V 알고리즘의 단계별 구조를 모방함으로써 O(n²)번의 BP 반복으로 알고리즘이 종료되며, 이때 순차적 트리 갱신 대신 BP가 사용된다.

실험 결과

연구 질문

• RQ1 LP 연속화가 정수성 갭을 보일 경우, 신뢰 전파(BP)를 정수 계획 문제에 체계적으로 적용할 수 있는가?
• RQ2 수정된 그래프 위에서 BP 실행의 시퀀스로 고전적인 에드몬즈의 블로섬 알고리즘을 시뮬레이션할 수 있는가?
• RQ3 원래 최적화 문제와 동치성을 유지하면서도 BP로 해결 가능한 중간 LP를 설계할 수 있는가?
• RQ4 정수 계획 문제의 다항 시간 복잡도를 확보하면서도 결정적 Blossom-V 알고리즘의 동작을 재현하는 분산 메시지 전달 알고리즘이 존재하는가?
• RQ5 에드몬즈 알고리즘은 해석적으로 다항 시간 해결 가능한 선형 프로그래밍 문제의 시퀀스로 볼 수 있는가, 각 문제는 BP로 해결 가능한가?

주요 결과

• Blossom-BP는 원래 그래프의 정점 수 n에 대해 O(n²)번의 신뢰 전파 실행으로 수렴을 보장한다.
• 알고리즘은 최적의 해를 찾을 수 있도록 Blossom-V 알고리즘의 변형과 동치성을 유지함으로써 정확성을 확보한다.
• 알고리즘은 순차적 트리 갱신을 BP 기반의 수축된 그래프 위에서의 BP로 대체함으로써 에드몬즈의 블로섬 알고리즘의 분산 구현을 제공한다.
• Blossom-LP는 Blossom-V의 중간 단계와 정확히 동치이며, [16]의 프레임워크를 사용해 각 LP가 BP로 해결 가능하다고 증명되었다.
• 알고리즘의 사이클-클로-매칭 분해는 LP 연속화의 정확히 반정수 해에 해당하며, 보조 조건과 최적성을 보장한다.
• 이 방법은 정수성 갭이 있는 정수 계획 문제에 대해 BP 기반 해법으로서는 최초로 다항 시간 보장을 확립하며, BP의 적용 범위를 타당한 LP 연속화를 초월하여 확장한다.