[논문 리뷰] Partial Optimality by Pruning for MAP-Inference with General Graphical Models

Paul Swoboda, Alexander Shekhovtsov외 3명|arXiv (Cornell University)|2014. 10. 24.

Error Correcting Code Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 일반적인 이산 마르코프 무작위 필드(Markov random fields)에 대한 MAP-추론에서 지속적으로 레이블이 부여된 변수를 식별하기 위한 새로운 다항식 시간 알고리즘을 제안한다. 이 알고리즘은 볼록 리팩토링의 정수 해(지역 다면체, local polytope)에 적용된 잘라내기 전략을 사용한다. 다양한 데이터셋, 특히 고차원 잠재변수와 큰 레이블 공간을 포함한 경우에도 기존 방법보다 훨씬 더 많은 지속적인 변수를 식별함으로써 기존 방법을 능가한다. 이는 임의의 그래픽 모델과 솔버에 적용 가능하다.

ABSTRACT

We consider the energy minimization problem for undirected graphical models, also known as MAP-inference problem for Markov random fields which is NP-hard in general. We propose a novel polynomial time algorithm to obtain a part of its optimal non-relaxed integral solution. Our algorithm is initialized with variables taking integral values in the solution of a convex relaxation of the MAP-inference problem and iteratively prunes those, which do not satisfy our criterion for partial optimality. We show that our pruning strategy is in a certain sense theoretically optimal. Also empirically our method outperforms previous approaches in terms of the number of persistently labelled variables. The method is very general, as it is applicable to models with arbitrary factors of an arbitrary order and can employ any solver for the considered relaxed problem. Our method's runtime is determined by the runtime of the convex relaxation solver for the MAP-inference problem.

연구 동기 및 목표

• 비결정성 문제(NP-난이도)인 비방향 그래픽 모델의 MAP-추론에서 최적 해에 반드시 포함되는 변수를 보장적으로 식별하는 문제에 대응하기 위해.
• 임의의 순서의 잠재변수와 레이블 공간에 적용 가능한 일반적이고 효율적이며 이론적으로 타당한 방법을 개발하기 위해.
• 볼록 리팩토링 해를 활용하고 새로운 최적성 기준에 기반한 반복적 잘라내기 전략을 통해 기존의 지속성 기준을 향상시키기 위해.
• 남아 있는 레이블이 지정되지 않은 변수들에 대해 더 강력하고 정확한 솔버를 사용할 수 있도록 하여 전역 최적성에 더 효율적으로 도달하기 위해.
• 잘라내기 전략이 이론적으로 최적임과 동시에 실제로 식별하는 지속적인 변수의 수에서 뛰어난 성능을 보이는 방법을 제공하기 위해.

제안 방법

• MAP-추론 문제의 볼록 리팩토링, 특히 지역 다면체 리팩토링에 대한 정수 해를 기반으로 시작한다.
• 부분 최적성 조건을 만족하지 못하는 변수들을 반복적으로 잘라내기 위한 새로운 잘라내기 기준을 적용한다.
• 이 잘라내기 기준은 남아 있는 변수들이 지속적으로 최적임을 보장하는 이론적 분석에서 유도된다.
• 이 알고리즘은 지역 다면체 리팩토링에 대한 어떤 솔버(근사적 또는 특화된 솔버 포함)와도 호환되며 일반적이다.
• 실행 시간은 주로 볼록 리팩토링 솔버에 의해 지배되며, 이로 인해 큰 규모의 문제에 대해서도 확장 가능하다.
• 이전 연구에서 제시된 특수한 최대 지속성 문제의 경우를 이론적으로 최적 보장과 함께 해결함을 보여준다.

실험 결과

연구 질문

• RQ1 임의의 순서의 그래픽 모델에 대해 지속적으로 최적임이 보장되는 변수를 식별할 수 있는 일반적이고 효율적인 방법을 개발할 수 있는가?
• RQ2 제안된 잘라내기 전략은 기존의 루프 이중성(Roof duality) 및 레이블 테스트 방법과 비교해 지속적인 변수를 얼마나 더 많이 식별하는가?
• RQ3 기존 방법이 실패하는 경우에도, 큰 레이블 공간과 고차원 잠재변수를 포함한 모델에 효과적으로 적용될 수 있는가?
• RQ4 이 잘라내기 기준은 잘 정의된 의미에서 이론적으로 최적인가? 기존의 지속성 프레임워크와의 관계는 어떠한가?
• RQ5 큰 규모의 문제에 대해 효율적으로 확장 가능하면서도 높은 지속성 비율을 유지할 수 있는가?

주요 결과

• 제안된 방법은 모든 데이터셋에서 기존의 모든 경쟁 방법보다 지속적인 변수를 더 잘 식별하며, 특히 큰 레이블 공간과 고차원 잠재변수를 포함한 경우에도 뛰어난 성능을 보였다.
• Potts-모델 데이터셋에서 teddy 사례에서는 3분의 1 이상의 변수가 지속적으로 레이블이 부여되었으나, 경쟁 방법들은 이를 식별하지 못했다.
• pano 및 family photomontage 데이터셋에서는 MQPBO보다 훨씬 더 많은 지속적인 변수를 식별했으며, pano 데이터셋에서는 3분의 1을 초과하는 비율을 기록했다.
• 단백질 측면 사슬 예측 데이터셋에서는 약 25%의 지속적인 레이블을 달성했으며, 이는 루프 이중성 기반 방법과 유사한 성능이지만 다른 데이터셋보다는 낮았다.
• 이진 고차원 세포 추적 문제에서는 다른 방법들이 적용 불가능하거나 비실용적인 상황에서도 성공적으로 지속적인 변수를 레이블링했다.
• 고차원 다중 레이블 기하 표면 레이블링 작업에서는 유일하게 삼항 항(term)에 적용 가능한 방법이었으며, 경쟁 방법들이 실패한 상황에서도 지속적인 변수를 성공적으로 식별했다.