[논문 리뷰] Message-Passing Algorithms for Quadratic Programming Formulations of MAP Estimation

Akshat Kumar, Shlomo Zilberstein|arXiv (Cornell University)|2012. 02. 14.

Error Correcting Code Techniques참고 문헌 18인용 수 11

한 줄 요약

이 논문은 이元 Markov 무작위 필드(MRF)에서 MAP 추정을 해결하기 위해 제곱형 프로그래밍(QP) 공식을 사용하는 메시지 전달 알고리즘을 제안한다. 옹금-볼록 절차(CCCP)를 적용하여 비볼록 QP에 대해 국소적으로 최적인 알고리즘과 볼록 QP 완화에 대해 전역 수렴하는 알고리즘을 도출하였으며, CPLEX보다 한 계단 이상의 속도 향상을 이룩하면서도 합성 및 실제 문제에서 최대 제품(max-product)와 동일하거나 그 이상의 성능을 달성하였다.

ABSTRACT

Computing maximum a posteriori (MAP) estimation in graphical models is an important inference problem with many applications. We present message-passing algorithms for quadratic programming (QP) formulations of MAP estimation for pairwise Markov random fields. In particular, we use the concave-convex procedure (CCCP) to obtain a locally optimal algorithm for the non-convex QP formulation. A similar technique is used to derive a globally convergent algorithm for the convex QP relaxation of MAP. We also show that a recently developed expectation-maximization (EM) algorithm for the QP formulation of MAP can be derived from the CCCP perspective. Experiments on synthetic and real-world problems confirm that our new approach is competitive with max-product and its variations. Compared with CPLEX, we achieve more than an order-of-magnitude speedup in solving optimally the convex QP relaxation.

연구 동기 및 목표

• 그래픽 모델에서 효율적이고 정확한 MAP 추정의 과제를 해결하기 위해.
• MAP 추정의 제곱형 프로그래밍(QP) 공식화를 위한 확장 가능한 메시지 전달 알고리즘을 개발하기 위해.
• 비볼록 QP에 대해 국소 최적성과 볼록 QP 완화에 대해 전역 수렴성을 동시에 달성하기 위해.
• 해결 품질을 유지하면서 기존의 CPLEX와 같은 전통적 해법보다 계산 효율성을 향상시키기 위해.
• CCCP 프레임워크를 통해 기존의 EM 기반 QP 알고리즘을 통합하고 재해석하기 위해.

제안 방법

• 논문은 이원 Markov 무작위 필드(MRF)에 대해 MAP 추정을 비볼록 제곱형 프로그래밍(QP)으로 공식화한다.
• 비볼록 QP를 반복적으로 해결하기 위해 옹금-볼록 절차(CCCP)를 적용하여 국소적으로 최적인 메시지 전달 알고리즘을 도출한다.
• 볼록 QP 완화에 대해 동일한 CCCP 프레임워크를 사용하여 전역 수렴하는 메시지 전달 알고리즘을 유도한다.
• 저자들은 QP 기반 MAP에 대한 EM 알고리즘이 CCCP의 특수한 경우로 유도됨을 보여준다.
• 수렴성과 확장성을 보장하기 위해 메시지 업데이트는 이중 분해와 하향 기울기 방법을 사용하여 계산된다.
• 속도와 정확도를 평가하기 위해 합성 및 실제 추론 작업 모두에서 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 비볼록 QP 공식화를 위한 메시지 전달 알고리즘이 효과적으로 설계될 수 있는가?
• RQ2 메시지 전달을 통해 볼록 QP 완화의 전역 수렴성을 달성할 수 있는가?
• RQ3 CCCP 기반 메시지 전달 접근법은 정확도와 속도 측면에서 최대 제품(max-product) 및 그 변종과 비교해 어떻게 되는가?
• RQ4 제안된 방법이 정확한 해법인 CPLEX보다 계산 효율성에서 얼마나 뛰어나게 성능을 냈는가?
• RQ5 기존의 EM 기반 QP 알고리즘은 CCCP 프레임워크 아래에서 통합될 수 있는가?

주요 결과

• CCCP 기반 메시지 전달 알고리즘은 비볼록 QP 공식화에 대해 국소적으로 최적의 해를 달성한다.
• 볼록 QP 완화는 CCCP의 메시지 전달 변종을 통해 전역적으로 효율적으로 해결된다.
• 제안된 방법은 볼록 QP 완화를 해결할 때 CPLEX보다 10배 이상의 속도 향상을 달성한다.
• 합성 및 실제 문제에서, 이 방법은 정확도와 수렴 속도 측면에서 최대 제품(max-product) 및 그 변종을 따라하거나 능가한다.
• QP 기반 MAP에 대한 EM 알고리즘이 CCCP 프레임워크의 특수한 경우임을 입증하여 통합적 해석을 제공한다.
• 메시지 전달 접근법은 다양한 추론 작업에서 강력한 확장성과 강인성을 보였다.