[논문 리뷰] Efficiently Searching for Frustrated Cycles in MAP Inference

David Sontag, Do Kook Choe외 1명|arXiv (Cornell University)|2012. 10. 16.

Formal Methods in Verification참고 문헌 18인용 수 28

한 줄 요약

이 논문은 그래픽 모델에서 가장 과도하게 불일치하는 사이클을 효율적으로 식별하기 위한 거의 선형 시간 알고리즘을 제안한다. 이는 사이클 일致성 제약 조건을 통해 타협을 강화함으로써 MAP 추론을 위한 이중 분해를 크게 향상시킨다. 이 방법은 사전에 지정된 짧은 사이클에 의존하지 않고 동적으로 긴 사이클을 발견함으로써 관계 분류와 스테레오 시각 문제에서 어려운 문제에 대한 정확한 해를 가능하게 한다.

ABSTRACT

Dual decomposition provides a tractable framework for designing algorithms for finding the most probable (MAP) configuration in graphical models. However, for many real-world inference problems, the typical decomposition has a large integrality gap, due to frustrated cycles. One way to tighten the relaxation is to introduce additional constraints that explicitly enforce cycle consistency. Earlier work showed that cluster-pursuit algorithms, which iteratively introduce cycle and other higherorder consistency constraints, allows one to exactly solve many hard inference problems. However, these algorithms explicitly enumerate a candidate set of clusters, limiting them to triplets or other short cycles. We solve the search problem for cycle constraints, giving a nearly linear time algorithm for finding the most frustrated cycle of arbitrary length. We show how to use this search algorithm together with the dual decomposition framework and clusterpursuit. The new algorithm exactly solves MAP inference problems arising from relational classification and stereo vision.

연구 동기 및 목표

• 그래픽 모델에서 발생하는 과도한 사이클로 인해 발생하는 이중 분해의 큰 정수성 갭을 해결하기 위해.
• 기존의 클러스터-퍼스위트 방법이 명시적 순열에 의해 제한되어 짧은 사이클(예: 삼중조)만 고려할 수 있는 한계를 극복하기 위해.
• 긴, 임의의 길이의 과도한 사이클을 탐색하는 확장 가능한 방법을 개발하여 타협을 강화하고 해의 품질을 향상시키기 위해.
• 사이클 탐색을 이중 분해 프레임워크에 통합하여 어려운 실세계 문제에서 정확한 MAP 추론을 가능하게 하기 위해.

제안 방법

• 어떤 길이의 그래픽 모델에서 가장 과도한 사이클을 찾는 거의 선형 시간 알고리즘을 제안한다.
• 스펙트럼 타협과 하향 기울기 최적화를 사용하여 과도한 정도가 높은(즉, 이원 상호작용 잠재력에서 높은 불일치를 보이는) 사이클을 효율적으로 식별한다.
• 사이클 탐지 기능을 클러스터-퍼스위트 프레임워크에 통합하여 동적으로 사이클 일치성 제약 조건을 추가함으로써 이중 타협을 강화한다.
• 마스터 문제를 반복적으로 해결하고 하위 문제에서 가장 위반된 사이클 제약 조건을 식별하는 이중 분해 접근 방식을 사용한다.
• 모든 가능한 사이클을 폭발적으로 순열하지 않기 위해 그래픽 모델의 구조를 활용한다.
• 유지 가능성과 함께 타협의 강도를 높이기 위해 브랜치 앤 프라이스 유사 프레임워크 내에서 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 모든 가능한 사이클을 순열하지 않고도 임의의 길이의 가장 과도한 사이클을 효율적으로 탐색할 수 있는가?
• RQ2 긴 사이클을 동적으로 탐색함으로써 이중 분해에서 MAP 추론의 정수성 갭은 어떻게 개선되는가?
• RQ3 이 방법은 이전에 짧은 사이클 제약 조건으로는 해결이 어려웠던 어려운 추론 문제에 대해 정확한 해를 가능하게 할 수 있는가?
• RQ4 기본적인 클러스터-퍼스위트 방법에 비해 사이클 탐지의 계산 비용은 얼마나 되는가?

주요 결과

• 제안된 알고리즘은 거의 선형 시간 내에 가장 과도한 사이클을 찾으며, 브루트 포스 순열에 비해 크게 승리한다.
• 이 방법은 이전 방법이 큰 정수성 갭으로 인해 실패한 관계 분류 및 스테레오 시각 문제에서 정확한 MAP 추론을 가능하게 한다.
• 동적으로 사이클 제약 조건을 추가함으로써, 짧은 사이클에 국한된 방법보다 이중 타협을 더 효과적으로 강화한다.
• 실제 문제에서 실질적인 정확한 해를 달성함으로써, 긴 사이클 제약 조건이 타협 품질 향상에 효과적임을 입증한다.