[논문 리뷰] Inference in Graphical Models via Semidefinite Programming Hierarchies

Murat A. Erdogdu, Yash Deshpande외 1명|arXiv (Cornell University)|2017. 09. 19.

Bayesian Modeling and Causal Inference참고 문헌 18인용 수 7

한 줄 요약

이 논문은 그래픽 모델에서 MAP 추론을 위한 확장 가능한 정준형 프로그래밍(SDP) 접근법을 제안하며, 부분적인 합의 제곱(SOS) 계층 구조를 사용하여 연속적인 영역에 집중함으로써 계산 비용을 줄인다. 영역 기반 SDP 완화와 비볼록 Burer-Monteiro 방법, 순차적 라운딩 절차를 결합함으로써, 이미지 노이즈 제거와 이징 스핀 거품과 같은 대규모 문제에서 최신 기술 수준의 성능을 달성하며, 10,000개 변수를 가진 인스턴스를 몇 분 내에 해결하고 BP 및 GBP를 능가한다.

ABSTRACT

Maximum A posteriori Probability (MAP) inference in graphical models amounts to solving a graph-structured combinatorial optimization problem. Popular inference algorithms such as belief propagation (BP) and generalized belief propagation (GBP) are intimately related to linear programming (LP) relaxation within the Sherali-Adams hierarchy. Despite the popularity of these algorithms, it is well understood that the Sum-of-Squares (SOS) hierarchy based on semidefinite programming (SDP) can provide superior guarantees. Unfortunately, SOS relaxations for a graph with $n$ vertices require solving an SDP with $n^{Θ(d)}$ variables where $d$ is the degree in the hierarchy. In practice, for $d\ge 4$, this approach does not scale beyond a few tens of variables. In this paper, we propose binary SDP relaxations for MAP inference using the SOS hierarchy with two innovations focused on computational efficiency. Firstly, in analogy to BP and its variants, we only introduce decision variables corresponding to contiguous regions in the graphical model. Secondly, we solve the resulting SDP using a non-convex Burer-Monteiro style method, and develop a sequential rounding procedure. We demonstrate that the resulting algorithm can solve problems with tens of thousands of variables within minutes, and outperforms BP and GBP on practical problems such as image denoising and Ising spin glasses. Finally, for specific graph types, we establish a sufficient condition for the tightness of the proposed partial SOS relaxation.

연구 동기 및 목표

• 완전한 SOS 계층 구조 SDP 완화의 확장성 한계를 해결하기 위해, $ n^{\Theta(d)} $개의 변수가 필요한 $ d \geq 4 $인 경우에 비현실적인 문제를 해결하기 위함.
• 결정 변수를 그래픽 모델의 연속적인 영역으로 제한함으로써 고차수 SOS 완화의 계산 비용을 줄이는 효율적인 대안을 개발하기 위함.
• 더 높은 품질의 SDP 완화를 활용하면서도 대규모 문제에서의 실행 가능성 유지에 기여하기 위해 신뢰성 있는 추론 방법(BP)과 일반화된 BP(GBP)를 능가하기 위함.
• 특정 그래프 구조에서 제안된 부분적 SOS 완화가 정확한 MAP 추론을 보장하는 이론적 조건을 설정하기 위함.

제안 방법

• 그래픽 모델의 모든 부분집합이 아닌 연속적인 영역(예: 삼각형 또는 플라켓)에 대해서만 결정 변수를 도입함으로써 부분적 SOS 완화를 제안함.
• 완전한 SDP 솔버의 높은 비용을 피하기 위해, 비볼록 Burer-Monteiro 방식의 인수분해를 사용하여 유도된 SDP를 효율적으로 해결함.
• 유연한 이산 MAP 추정치를 도출하기 위해, 이완된 해를 변환하는 순차적 라운딩 절차(CLAP)를 도입함.
• 부분적 SOS 완화와 CLAP 라운딩을 결합하는 리프팅 절차를 구현하여 해 품질을 향상시킴.
• SOS 계층의 영역 일致 조건(3.1)을 충족시키기 위해, 격자에서 대각선과 같은 보조 엣지를 추가하고, 이 엣지에 0 가중치의 잠재변수를 할당함.
• 해 품질과 계산 비용의 균형을 위해 최대 차수 $ d=4 $까지의 완화 계층을 활용하며, 이를 PSOS(4)로 지칭함.

실험 결과

연구 질문

• RQ1 연속적인 영역에 기반한 부분적 SOS 완화가 BP 및 GBP보다 뛰어난 추론 품질을 달성하면서도 대규모 그래픽 모델에 대해 확장 가능한가?
• RQ2 수천 개의 변수를 가진 문제에 SOS 기반 완화를 적용할 경우 계산 비용은 얼마이며, 비볼록 최적화를 통해 이를 줄일 수 있는가?
• RQ3 제안된 부분적 SOS 완화가 어떤 조건에서 정확하게 작동하여 특정 그래프 유형에 대해 정확한 MAP 추론을 보장하는가?
• RQ4 실제 문제인 이미지 노이즈 제거와 이징 스핀 거품에서 제안된 방법의 성능이 BP 및 GBP와 비교해 어떻게 되는가?
• RQ5 완전 탐색이 가능한 작은 인스턴스에서 제안된 방법이 정확하거나 거의 정확한 해를 달성할 수 있는가?

주요 결과

• 제안된 PSOS(4) 방법은 최대 10,000개의 변수를 가진 MAP 추론 문제를 몇 분 내에 해결하며, 이는 이전의 SOS 접근법이 몇 십 개의 변수에만 제한된 것에 비해 상당한 향상이다.
• 이미지 노이즈 제거 작업에서 PSOS(4)는 항상 최고의 목적 함수 값을 기록하고 최상의 재구성 품질을 달성하며, 종종 GBP 및 BP를 능가한다.
• 완전 탐색이 가능한 16개 및 25개 노드의 2D 격자에서 이징 스핀 거품에 대해 PSOS(4)는 모든 경우에서 정확한 전역 최적해를 달성했다.
• 더 큰 이징 스핀 거품 인스턴스(100, 400, 900개 노드)에서 수행된 800회의 실험 전반에서 PSOS(4)는 모든 경우에 가장 큰 목적 함수 값을 기록했으며, BP, GBP 및 다른 기준 방법들을 능가했다.
• CLAP 라운딩 절차와 PSOS(4)를 조합함으로써, 합리적인 실행 시간 내에 높은 품질의 이산 해를 도출할 수 있었으며, 10,000개 변수 문제에 대해 전체 실행에 약 1시간이 소요되었다.
• 특정 그래프 유형, 예를 들어 삼각형 영역이 있는 2D 격자에서는 부분적 SOS 완화가 정확하게 작동하는 충분한 조건를 도출하여 정확한 추론을 보장함을 증명했다.