[논문 리뷰] Tighter Linear Program Relaxations for High Order Graphical Models

Elad Mezuman, Daniel Tarlow외 2명|arXiv (Cornell University)|2013. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 39인용 수 8

한 줄 요약

이 논문은 고차원 그래픽 모델의 더 날카운 선형계획법(LP) 근사를 위해 고차원 포텐셜(HOP)과 개별 변수 간의 추가 일致성 제약 조건을 도입함으로써 더 강력한 LP 근사를 제안한다. 이러한 제약 조건을 통해 근사를 강화함으로써 혼합된 차수를 가진 항을 포함하는 도전적인 문제에서 추론 정확도를 향상시키며, 최적화를 위한 효율적인 메시지 전달 알고리즘을 제안하여 기존의 표준 LP 근사보다 뛰어난 성능을 발휘한다.

ABSTRACT

Graphical models with High Order Potentials (HOPs) have received considerable interest in recent years. While there are a variety of approaches to inference in these models, nearly all of them amount to solving a linear program (LP) relaxation with unary consistency constraints between the HOP and the individual variables. In many cases, the resulting relaxations are loose, and in these cases the results of inference can be poor. It is thus desirable to look for more accurate ways of performing inference in these models. In this work, we study the LP relaxations that result from enforcing additional consistency constraints between the HOP and the rest of the model. We address theoretical questions about the strength of the resulting relaxations compared to the relaxations that arise in standard approaches, and we develop practical and efficient message passing algorithms for optimizing the LPs. Empirically, we show that the LPs with additional consistency constraints lead to more accurate inference on some challenging problems that include a combination of low order and high order terms.

연구 동기 및 목표

• 표준 LP 근사가 고차원 그래픽 모델에서 느슨한 경계와 열악한 추론 결과를 초래하는 약점을 해결하기 위해.
• 고차원 포텐셜과 개별 변수 간의 추가 일치성 제약 조건을 통해 근사를 강화함으로써 추론 정확도를 향상시키기 위해.
• 강화된 LP 근사를 최적화하기 위한 실용적이고 효율적인 메시지 전달 알고리즘을 개발하기 위해.
• 저항성 있는 문제들에서 저차수 및 고차수 항을 조합한 벤치마크 문제에서 제안된 근사의 향상된 성능를 경험적으로 검증하기 위해.

제안 방법

• 표준 단항 일치성 외에 고차원 포텐셜과 그 구성 변수를 연결하는 추가 일치성 제약 조건을 도입하기 위해.
• 이러한 고차원 일치성 제약 조건을 최적화 문제에 통합하여 더 강력한 LP 근사를 구성하기 위해.
• 강화된 LP 근사를 효율적으로 해결하기 위해 이중 분해 기반 메시지 전달 알고리즘을 설계하기 위해.
• 최적화 도중 위반된 제약 조건을 동적으로 추가함으로써 수렴성과 근사의 날카움을 향상시키기 위해 커팅 플레인 방법을 사용하기 위해.
• 고차원 포텐셜의 구조를 활용하고 메시지 전달 프레임워크 내에서 효율적인 업데이트를 수행함으로써 계산 효율성을 유지하기 위해.

실험 결과

연구 질문

• RQ1 고차원 포텐셜과 개별 변수 간의 추가 일치성 제약 조건이 그래픽 모델의 LP 근사 날카움에 어떤 영향을 미치는가?
• RQ2 제안된 강화된 LP 근사가 도전적인 문제에서 기존 방법에 비해 더 정확한 추론 결과를 도출할 수 있는가?
• RQ3 고차원 일치성 제약 조건을 이행하는 데 드는 계산 비용은 얼마이며, 효율적인 최적화가 달성될 수 있는가?
• RQ4 제안된 메시지 전달 알고리즘은 수렴성과 해 품질 측면에서 기존 방법과 비교해 어떻게 다른가?

주요 결과

• 추가 일치성 제약 조건을 포함한 제안된 LP 근사는 표준 방법에 비해 근사의 날카움을 크게 향상시켜 분할 함수에 대한 더 나은 경계를 제공한다.
• 경험적 결과는 저차수 및 고차수 포텐셜을 조합한 벤치마크 문제에서 향상된 추론 정확도를 보여준다.
• 강화된 근사 기반 메시지 전달 알고리즘은 표준 LP 기반 방법보다 더 빠르게 수렴하고 더 우수한 목적 함수 값을 달성한다.
• 이 방법은 어려운 추론 문제에서 이중성 갭을 효과적으로 줄여 고차원 일치성 제약 조건의 가치를 입증한다.