[논문 리뷰] Lagrangian Relaxation for MAP Estimation in Graphical Models

Jason K. Johnson, Dmitry Malioutov외 1명|ArXiv.org|2007. 09. 28.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 73

한 줄 요약

이 논문은 이질적인 문제를 더 다룰 수 있는 보조 그래프에 제약 조건을 도입한 후 라그랑주 승수를 통해 이를 완화함으로써 이산 및 가우시안 그래픽 모델에서 MAP 추정을 위한 일반적인 라그랑주 완화 프레임워크를 제안한다. 이 방법은 이중성 갭이 사라질 경우 최적의 MAP 추정치를 달성하며, 수렴 속도를 높이고 이중성 갭을 줄이는 요약 변수를 포함한 다중 척도 완화를 도입한다.

ABSTRACT

We develop a general framework for MAP estimation in discrete and Gaussian graphical models using Lagrangian relaxation techniques. The key idea is to reformulate an intractable estimation problem as one defined on a more tractable graph, but subject to additional constraints. Relaxing these constraints gives a tractable dual problem, one defined by a thin graph, which is then optimized by an iterative procedure. When this iterative optimization leads to a consistent estimate, one which also satisfies the constraints, then it corresponds to an optimal MAP estimate of the original model. Otherwise there is a ``duality gap'', and we obtain a bound on the optimal solution. Thus, our approach combines convex optimization with dynamic programming techniques applicable for thin graphs. The popular tree-reweighted max-product (TRMP) method may be seen as solving a particular class of such relaxations, where the intractable graph is relaxed to a set of spanning trees. We also consider relaxations to a set of small induced subgraphs, thin subgraphs (e.g. loops), and a connected tree obtained by ``unwinding'' cycles. In addition, we propose a new class of multiscale relaxations that introduce ``summary'' variables. The potential benefits of such generalizations include: reducing or eliminating the ``duality gap'' in hard problems, reducing the number or Lagrange multipliers in the dual problem, and accelerating convergence of the iterative optimization procedure.

연구 동기 및 목표

• 복잡한 의존성 구조를 가진 대규모 그래픽 모델에서 정확한 MAP 추정의 비가역성 문제를 해결한다.
• 결합 트리 방법의 지수적 복잡도를 극복하기 위해 볼록 완화 프레임워크를 도입한다.
• 라그랑주 완화를 통해 기존의 트리 재가중 최대 제품(TRMP) 등의 방법을 일반화하는 통합된 접근법을 개발한다.
• 다양한 척도의 요약 변수를 포함한 구조적 보완을 통해 딱딱한 추론 문제에서의 이중성 갭을 줄이거나 제거한다.
• 마진과 최대 마진 일치를 통한 반복적 이중 상승 최적화를 통해 이산 및 가우시안 모델 모두에 적용 가능한 효율적인 최적화를 가능하게 한다.

제안 방법

• 원래의 다루기 어려운 그래픽 모델을 복제되거나 구조화된 부분 그래프를 가진 보조 그래프 위의 제약 최적화 문제로 재구성한다.
• 제약 조건에 대해 라그랑주 완화를 적용하여 라그랑주 승수에 대한 볼록 이중 최적화 문제로 문제를 변환한다.
• 레플리카 및 크로스 스케일 제약 조건의 승수를 반복적으로 갱신함으로써 이중 함수를 블록 좌표 강하법으로 최소화한다.
• 이산 모델에서는 마진과 최대 마진 일치를, 가우시안 모델에서는 정밀도 행렬과 평균 파라미터를 사용한 모멘트 일치를 통해 일관성을 확보한다.
• 세밀 척도와 거친 척도 변수를 연결하는 제약 조건을 추가함으로써 요약 변수를 도입해 다중 척도 완화를 구현한다.
• 역 공분산과 평균 파라미터를 사용해 가우시안 모델에서 라그랑주 승수의 폐쇄형 갱신 규칙을 유도하여 다양한 척도 간 모멘트 일치를 보장한다.

실험 결과

연구 질문

• RQ1 라그랑주 완화는 이산 및 가우시안 그래픽 모델에서 MAP 추정에 체계적으로 적용되어 다룰 수 있는 추론을 달성할 수 있는가?
• RQ2 전략적 모델 보완을 통해 MAP 추정에서의 이중성 갭을 어떻게 줄이거나 제거할 수 있는가?
• RQ3 요약 변수를 포함한 다중 척도 완화는 수렴 속도 향상과 이중성 갭 감소에 어떤 역할을 하는가?
• RQ4 어떤 경우에 완화된 이중 해가 정확한 MAP 추정치를 제공하며, 이를 어떻게 감지할 수 있는가?
• RQ5 스패닝 트리, 고리, 전개된 사이클 등의 다양한 그래프 구조는 이중성 갭과 수렴 행동 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 스패닝 트리 위에서 라그랑주 완화의 특수한 경우로서 트리 재가중 최대 제품(TRMP) 방법을 일반화한다.
• 이중성 갭이 0일 경우 반복적인 이중 최적화는 원래의 모든 제약 조건을 만족하는 정확한 MAP 추정치를 도출한다.
• 최대 마진에서의 동점(타이) 발생은 비영인 이중성 갭을 시사하며, 추가적인 모델 보완이 필요함을 나타낸다.
• 가우시안 모델에서는 완화가 잘 정의되어 있는 한 타ight한 경계와 정확한 MAP 추정치를 도출하며, 분산에 대한 유효한 상한을 보장한다.
• 다중 척도 완화는 수렴 속도를 크게 향상시킨다. 1024개 노드를 가진 1차원 막 모델에서 다중 척도 LR은 블록 가우스세이델과 단일 척도 LR 모두를 압도적으로 뛰어넘었다.
• 가우시안 모델에서의 라그랑주 승수에 대한 폐쇄형 갱신 규칙은 세밀 척도와 거친 척도 변수 간의 모멘트 일치를 보장하여 모델의 일관성을 유지한다.