[논문 리뷰] Negative Tree Reweighted Belief Propagation

Qiang Liu, Alexander Ihler|arXiv (Cornell University)|2012. 03. 15.

Error Correcting Code Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 마르코프 무작위 필드(Markov random fields)에서 로그 분할 함수의 하한 근사를 위한 새로운 방법인 음수 가중치를 가진 스패닝 트리의 선형 조합을 사용하는 음수 트리 재가중 신뢰 전파(Negative Tree Reweighted Belief Propagation, NTRBP)를 제안한다. 제이슨 부등식의 반전을 통해 NTRBP는 평균 장 방법보다 더 날카운 하한을 제공하며, 구조적 평균 장 근사법을 일반화하여 그래픽 모델에서 개선된 변분 추론을 위한 비볼록 최적화 프레임워크를 제공한다.

ABSTRACT

We introduce a new class of lower bounds on the log partition function of a Markov random field which makes use of a reversed Jensen's inequality. In particular, our method approximates the intractable distribution using a linear combination of spanning trees with negative weights. This technique is a lower-bound counterpart to the tree-reweighted belief propagation algorithm, which uses a convex combination of spanning trees with positive weights to provide corresponding upper bounds. We develop algorithms to optimize and tighten the lower bounds over the non-convex set of valid parameter values. Our algorithm generalizes mean field approaches (including naive and structured mean field approximations), which it includes as a limiting case.

연구 동기 및 목표

• 마르코프 무작위 필드의 로그 분할 함수에 대해 더 날카운 하한을 도출하는 것, 이는 일반적으로 정확하게 계산하기 어려운 문제이다.
• 나무 재가중 신뢰 전파와 같은 기존 상한 방법의 한계를 극복하기 위해 이중 하한 접근법을 도입함으로써, 기존의 상한 방법의 한계를 극복하는 것.
• 기본적이고 구조적 변형을 포함한 평균 장 근사법을 제안된 프레임워크의 극한 경우로 간주함으로써 이를 일반화하는 것.
• 유효한 파rameter 값의 비볼록 집합 위에서 하한을 최적화하여 개선된 변분 추론을 가능하게 하는 것.
• 기존 상한 방법과 보완되는 새로운 변분 추론 기법을 제공함으로써 근사 정확도를 향상시키는 것.

제안 방법

• 음수 가중치를 가진 스패닝 트리의 선형 조합에 제이슨 부등식의 반전을 적용하여 로그 분할 함수에 대한 하한을 제안한다.
• 음수 계수를 가진 스패닝 트리를 조합하여 변분 근사를 구성함으로써, 유효한 파rameter 집합 위에서 비볼록 최적화 문제를 형성한다.
• 하한을 최대화하는 목적 함수를 유도하며, 그래픽 모델 내의 종속성을 모델링하기 위해 스패닝 트리의 구조를 활용한다.
• 하한을 최적화하기 위한 반복적 알고리즘을 개발하며, 음수 가중치를 가진 트리 조합에 대해 신뢰 전파 원리를 확장한다.
• 제안된 방법과 평균 장 근사법 사이의 관계를 설정하며, 트리 가중치가 0으로 수렴할 때 평균 장이 극한 경우로 나타남을 보여준다.
• 비볼록 최적화 프레임워크를 사용하여 하한을 강화함으로써, 진짜 분할 함수에 대한 더 나은 근사를 가능하게 한다.

실험 결과

연구 질문

• RQ1 마르코프 무작위 필드에서 로그 분할 함수에 대해 더 날카운 하한을 도출하기 위해 제이슨 부등식의 반전을 사용할 수 있는가?
• RQ2 음수 가중치를 가진 스패닝 트리는 어떻게 비가역적인 그래픽 모델의 유효한 변분 근사를 구성하는 데 사용될 수 있는가?
• RQ3 제안된 방법이 기존의 평균 장 접근법을 어떻게 일반화하거나 포함하는가?
• RQ4 음수 가중치 트리 조합의 비볼록 최적화는 표준 평균 장 또는 나무 재가중 방법보다 더 나은 변분 하한을 제공할 수 있는가?
• RQ5 제안된 하한 방법과 상한 방법인 나무 재가중 신뢰 전파 알고리즘 사이의 관계는 무엇인가?

주요 결과

• 제안된 방법은 반전된 제이슨 부등식을 활용하여 로그 분할 함수에 대해 유효한 하한을 제공함으로써, 표준 평균 장 방법보다 더 날카운 근사를 가능하게 한다.
• 이 프레임워크는 기본적이고 구조적 평균 장 근사법을 일반화하며, 트리 가중치가 0으로 수렴할 때 이들의 극한 경우로 나타난다.
• 음수 가중치 스패닝 트리 조합의 비볼록 집합 위에서 최적화를 수행함으로써, 나무 재가중 신뢰 전파의 볼록 상한 접근법에 대한 이중적 접근을 제공한다.
• 실험 결과는 강한 종속성을 가진 모델에서 평균 장 근사법보다 더 날카운 하한을 제공함을 보여준다.
• 알고리즘은 신뢰 전파 원리를 음수 가중치 트리 조합으로 확장하여 그래픽 모델에서 새로운 추론 능력을 가능하게 한다.
• 이 방법은 상한 방법과 보완되는 대안을 제공하며, 마르코프 무작위 필드에서의 변분 추론을 위한 전체 도구상자에 기여한다.