[논문 리뷰] Tightening LP Relaxations for MAP using Message Passing

David Sontag, Talya Meltzer외 3명|arXiv (Cornell University)|2012. 06. 13.

Gene Regulatory Network Analysis참고 문헌 19인용 수 251

한 줄 요약

이 논문은 그래픽 모델에서 MAP 추론을 위한 선형계획법(LP) 타협을 반복적으로 강화하기 위해 고성능 클러스터를 선택하는 이중 분해 기반 메시지 전달 알고리즘을 제안한다. 이전 해를 재사용하고 이중 목표 함수의 단조적 향상을 보장함으로써, 표준 LP를 초월하여 타협을 효과적으로 조여넣는다. 이 방법은 표준 LP가 실패하는 도전적인 문제들, 예를 들어 단백질 측쇄 배치와 스테레오 매칭 문제를 성공적으로 해결한다.

ABSTRACT

Linear Programming (LP) relaxations have become powerful tools for finding the most probable (MAP) configuration in graphical models. These relaxations can be solved efficiently using message-passing algorithms such as belief propagation and, when the relaxation is tight, provably find the MAP configuration. The standard LP relaxation is not tight enough in many real-world problems, however, and this has lead to the use of higher order cluster-based LP relaxations. The computational cost increases exponentially with the size of the clusters and limits the number and type of clusters we can use. We propose to solve the cluster selection problem monotonically in the dual LP, iteratively selecting clusters with guaranteed improvement, and quickly re-solving with the added clusters by reusing the existing solution. Our dual message-passing algorithm finds the MAP configuration in protein sidechain placement, protein design, and stereo problems, in cases where the standard LP relaxation fails.

연구 동기 및 목표

• 실제 문제에서 자주 타협이 되지 않는 표준 LP 타협의 한계를 해결하기 위해.
• 고차원 클러스터 기반 LP 타협의 지수적 계산 비용을 줄이기 위해 효율적이고 점진적인 클러스터 선택을 가능하게 하기 위해.
• 이전 해를 재사용함으로써 효율성을 유지하면서 이중 목표 함수를 단조적으로 향상시키는 방법을 개발하기 위해.
• 표준 LP 타협이 실패하는 경우에도 MAP 구성에 대한 증명 가능한 수렴을 달성하기 위해.
• 단백질 설계 및 스테레오 매칭과 같은 복잡한 추론 작업에 더 타당한 더 강력한 LP 타협을 적용하기 위해.

제안 방법

• 이 방법은 이중 분해를 사용하여 이중 목표 함수를 가장 크게 향상시키는 클러스터를 반복적으로 식별하고 추가한다.
• 클러스터 선택 문제를 이중 LP의 하위 문제로 공식화함으로써, 각 추가 시에 단조적 향상을 보장한다.
• 이전에 풀었던 LP 타협의 해를 재사용함으로써, 클러스터 추가 후 빠른 재최적화를 가능하게 한다.
• 메시지 전달 기법을 이중 문제에 적용하여 필요한 업데이트를 효율적으로 계산하고 유망한 클러스터를 식별한다.
• 클러스터 기반 타협 강화와 이중 상승을 결합함으로써 수렴 보장을 유지하면서 더 큰 문제에 스케일링할 수 있다.
• 이중 메시지 전달 알고리즘으로 구현되어 이중 변수 업데이트에 기반해 동적으로 클러스터를 선택한다.

실험 결과

연구 질문

• RQ1 표준 수식을 초월하여 그래픽 모델에서 MAP 추론을 위한 LP 타협을 체계적으로 강화할 수 있는가?
• RQ2 지수적 계산 비용을 유발하지 않으면서 고성능 클러스터를 효율적으로 선택할 수 있는가?
• RQ3 반복적인 타협 강화에서 이중 단조성과 이전 해 재사용을 유지함으로써 수렴 속도를 높일 수 있는가?
• RQ4 제안된 방법이 표준 LP 타협이 실패하는 문제에서 증명 가능한 MAP 추론을 달성하는가?
• RQ5 이 방법은 단백질 측쇄 배치와 스테레오 매칭과 같은 실제 문제에 실용적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 표준 LP 타협이 실패하는 단백질 측쇄 배치 문제에서 MAP 구성에 성공적으로 도달한다.
• 표준 LP 타협이 타협이 되지 않더라도 스테레오 매칭 작업에서 최적 해로 수렴함을 보였다.
• 이전 해를 재사용함으로써 계산 효율성이 크게 향상되어 반복 간 재최적화 비용을 감소시켰다.
• 반복적인 클러스터 선택은 이중 목표 함수의 단조적 향상을 이끌어내어 더 타협이 강화된 해에 수렴함을 보장한다.
• 생물정보학 및 컴퓨터 비전 분야의 벤치마크 문제에서 표준 LP 타협보다 해의 품질 면에서 뛰어나다.