[논문 리뷰] Loopy annealing belief propagation for vertex cover and matching: convergence, LP relaxation, correctness and Bethe approximation

Marc Lelarge|arXiv (Cornell University)|2014. 01. 30.

Error Correcting Code Techniques참고 문헌 30인용 수 3

한 줄 요약

이 논문은 일반 그래프에서 최소 정점 커버 및 최대 매칭 문제를 해결하기 위해 민감도가 높은 메시지 전파 기법을 결합한 새로운 메시지 전파 알고리즘인 루프 어닐링 벨리프 전파(LABP)를 제안한다. 온도 매개변수 $ z $ 를 반복적으로 조정함으로써 LABP는 수렴하고 점차적으로 최소 반정수 정점 커버(2-근사값 제공)와 최대 분수 매칭을 계산한다. 이중 그래프의 경우, 정확한 최소 정점 커버와 매칭 수를 달성한다.

ABSTRACT

For the minimum cardinality vertex cover and maximum cardinality matching problems, the max-product form of belief propagation (BP) is known to perform poorly on general graphs. In this paper, we present an iterative loopy annealing BP (LABP) algorithm which is shown to converge and to solve a Linear Programming relaxation of the vertex cover or matching problem on general graphs. LABP finds (asymptotically) a minimum half-integral vertex cover (hence provides a 2-approximation) and a maximum fractional matching on any graph. We also show that LABP finds (asymptotically) a minimum size vertex cover for any bipartite graph and as a consequence compute the matching number of the graph. Our proof relies on some subtle monotonicity arguments for the local iteration. We also show that the Bethe free entropy is concave and that LABP maximizes it. Using loop calculus, we also give an exact (also intractable for general graphs) expression of the partition function for matching in term of the LABP messages which can be used to improve mean-field approximations.

연구 동기 및 목표

• 일반 그래프에서 표준 최대 제품 벨리프 전파가 수렴하지 못하고 정확하지 않은 결과를 도출하는 문제를 해결한다.
• 이전의 BP 기반 방법에서 요구하는 유일한 최적 해에 대한 제약 조건을 제거하기 위해 어닐링을 도입한다.
• 정점 커버 및 매칭 문제의 선형계획법(LP) 리라크스레이션에 대한 해를 계산할 수 있는 증명 가능하게 수렴하는 알고리즘을 개발한다.
• 임의의 그래프 및 이중 그래프에서 온도가 0에 수렴하는 극한($ z \to \infty $)에서 LABP의 행동에 대한 이론적 보장을 수립한다.
• 루프 미분학을 통해 베테 근사와 분할 함수 간의 관계를 연결함으로써, 개선된 평균장 근사법을 가능하게 한다.

제안 방법

• 원래의 조합 최적화 문제를 부드럽고 온도에 의존하는 추론 문제로 변환하기 위해 $ z > 0 $ 인 어닐링 매개변수를 도입한다.
• 베테 근사를 기반으로 한 국소 업데이트 규칙을 사용하여, 어닐링된 그래픽 모델에 대해 최대 제품 벨리프 전파를 적용한다.
• 메시지 업데이트의 단조성 증거를 활용하여, 상관관계 감쇠 성질을 이용해 모든 유한한 $ z $ 에서 알고리즘의 수렴성을 증명한다.
• 루프 미분학을 사용하여 분할 함수의 정확한 표현식을 유도하고, 이를 LABP 메시지와 연결함으로써 평균장 근사법의 개선을 가능하게 한다.
• 베테 자유 에너지를 분석하여 그가 볼록함을 증명하고, $ z \to \infty $ 근처에서 LABP가 이를 최대화함을 보인다.
• 선형계획법 리라크스레이션의 이중 문제를 통해 분수 매칭과 반정수 정점 커버 간의 이중성 관계를 확립함으로써, 알고리즘이 두 해를 동시에 계산할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 표준 최대 제품 BP가 실패하는 일반 그래프에서 정점 커버 및 매칭 문제에 대해 벨리프 전파가 수렴하고 정확한 해를 도출할 수 있는가?
• RQ2 온도 매개변수 $ z $ 를 통해 목적 함수를 어닐링하면, 이러한 NP-완전 문제에 대해 수렴성과 개선된 근사 보장을 달성할 수 있는가?
• RQ3 이중 그래프에서 $ z \to \infty $ 근처에서 이 알고리즘이 최소 정점 커버 및 최대 매칭 문제의 정확한 해를 도출할 수 있는가?
• RQ4 이 어닐링된 프레임워크에서 베테 근사, 분할 함수, 메시지 전파의 수렴성 간의 관계는 무엇인가?
• RQ5 루프 미분학 프레임워크는 이 설정에서 분할 함수의 정확한 표현식을 도출하고 평균장 근사법을 어떻게 개선하는가?

주요 결과

• LABP는 모든 유한한 $ z $ 에서 수렴하며, 어닐링 모델의 상관관계 감쇠 성질을 활용한다. 이는 일반 그래프에서도 성립한다.
• 제한 조건 $ z \to \infty $ 에서 LABP는 최소 반정수 정점 커버를 계산하며, 이는 최소 정점 커버 문제에 대한 2-근사값을 제공한다.
• 이중 그래프의 경우, LABP는 정확한 최소 정점 커버와 매칭 수를 계산하여 최적 성능을 달성한다.
• LABP는 임의의 그래프에서 점차적으로 최대 분수 매칭을 계산하며, 매칭 문제의 선형계획법 리라크스레이션을 해결한다.
• 베테 자유 에너지는 볼록함을 띠며, LABP는 이를 점차적으로 최대화함으로써 통계역학과 조합 최적화 간의 연결 고리를 확립한다.
• 루프 미분학을 활용하여, LABP 메시지의 표현식으로 매칭 문제의 분할 함수에 대한 정확한 표현식을 도출함으로써, 개선된 평균장 근사법을 가능하게 한다.