[논문 리뷰] Lifted Tree-Reweighted Variational Inference

Hung Bui, Tuyen N. Huynh외 1명|arXiv (Cornell University)|2014. 06. 17.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 3

한 줄 요약

이 논문은 대칭성을 활용하여 로그-분할 함수를 효율적으로 근사하는 볼록 최적화 프레임워크인 업그레이드된 트리 재가중 변분 추론을 제안한다. 첫째, 자동형사군에 대해 불변인 간선 출현 확률을 사용하여 TRW 목적함수를 업그레이드하고, 교환 가능한 클러스터 제약 조건을 통합함으로써 분할 함수에 대한 더 날카운 상한을 달성하며, 업그레이드된 MAP 질의를 통해 프랭크-울프 최적화를 통해 수렴 가능하고 확장 가능한 추론을 가능하게 한다.

ABSTRACT

We analyze variational inference for highly symmetric graphical models such as those arising from first-order probabilistic models. We first show that for these graphical models, the tree-reweighted variational objective lends itself to a compact lifted formulation which can be solved much more efficiently than the standard TRW formulation for the ground graphical model. Compared to earlier work on lifted belief propagation, our formulation leads to a convex optimization problem for lifted marginal inference and provides an upper bound on the partition function. We provide two approaches for improving the lifted TRW upper bound. The first is a method for efficiently computing maximum spanning trees in highly symmetric graphs, which can be used to optimize the TRW edge appearance probabilities. The second is a method for tightening the relaxation of the marginal polytope using lifted cycle inequalities and novel exchangeable cluster consistency constraints.

연구 동기 및 목표

• 대칭적인 그래픽 모델을 위한 볼록 변분 추론 프레임워크를 개발하여 수렴 보장을 제공하고 로그-분할 함수에 대한 상한을 제공한다.
• 신뢰성 있는 추론을 넘어 기존의 벨리프 전파를 넘어서는 업그레이드된 추론을 대칭성 인식 방식으로 트리 재가중 변분 추론을 체계화한다.
• 업그레이드된 사이클 부등식과 새로운 교환 가능한 페취드로 폴리토 제약 조건을 도입하여 변분 상한의 품질을 향상시킨다.
• 각 반복에서 업그레이드된 MAP 문제를 해결하는 프랭크-울프 방법을 통해 효율적인 최적화를 가능하게 한다.
• 볼록성 덕분에 비선형 업그레이드된 LBP 방법과 달리 매개변수 학습에서 신뢰할 수 있고 전역 최적화가 가능한지 실험적으로 입증한다.

제안 방법

• 모델의 자동형사군에 대해 불변인 간선 출현 확률 ρ에 제약을 두어 트리 재가중(TRW) 변분 목적함수를 업그레이드함으로써, 압축되고 대칭적인 공식화를 도출한다.
• 각 반복에서 업그레이드된 최대 aposteriori(MAP) 추론 문제를 해결하는 프랭크-울프 알고리즘을 사용하여 전역 최적해로 수렴함을 보장한다.
• 랜덤 변수의 교환 가능성을 활용하여 업그레이드된 마진 다각체의 타협을 개선하는 교환 가능한 페취드로 제약 조건을 도입한다.
• 업그레이드된 최대 스패닝 트리 알고리즘을 통해 TRW 간선 출현 벡터 ρ를 최적화함으로써 로그-분할 함수에 대한 상한의 품질을 향상시킨다.
• 사이클 부등식과 업그레이드된 일致성 제약 조건을 활용하여 국소 제약 조건을 초월해 변분 타협을 더욱 강화한다.
• 이러한 요소들을 통합하여 볼록 최적화 프레임워크를 구성함으로써 상한 성질을 유지하고 확장 가능한 추론을 지원한다.

실험 결과

연구 질문

• RQ1 첫째, 트리 재가중 변분 목적함수는 일阶 확률 모델의 대칭성을 활용하면서도 볼록성과 상한 성질을 유지할 수 있는가?
• RQ2 둘째, 간선 출현 확률 최적화를 통해 업그레이드된 환경에서 TRW 상한의 품질을 어떻게 향상시킬 수 있는가?
• RQ3 셋째, 계산 효율성을 희생시키지 않고 교환 가능한 제약 조건을 통해 업그레이드된 마진 다각체를 얼마나 강화할 수 있는가?
• RQ4 넷째, 이전의 업그레이드된 벨리프 전파 방법과 달리 업그레이드된 TRW 추론은 수렴 가능하고 전역 최적화가 가능한가?
• RQ5 다섯째, 등분할구조를 통한 업그레이드와 볼록성 및 유효한 상한 성질 유지 사이의 상호 간의 상충 관계는 어떠한가?

주요 결과

• 업그레이드된 TRW 공식화는 로그-분할 함수에 대해 볼록 상한을 제공하여 신뢰할 수 있고 전역 최적의 추론 및 학습을 가능하게 한다.
• 교환 가능한 페취드로 제약 조건을 도입함으로써 업그레이드된 마진 다각체의 타협이 크게 개선되었으며, 경우에 따라 정확한 특성화를 달성하기도 한다.
• 업그레이드된 TRW가 추정한 로그우도 값은 범위가 작고, 업그레이드된 LBP보다 더 높은 매개변수 값까지 확장되어 더 안정적이고 정확한 상한을 제공함을 보여준다.
• 업그레이드된 MAP 질의를 사용하는 프랭크-울프 알고리즘은 기존의 기울기 기반 방법과 달리 국소 최적점에 갇히지 않고 전역 최적해로 수렴한다.
• 볼록성 덕분에 초기화에 관계없이 전역 해로 수렴함을 보장하므로, 매개변수 학습에서 업그레이드된 LBP보다 성능이 뛰어나다.
• 등분할구조 위에서 대칭화된 스패닝 트리 다각체가 공집합이 되는 예시를 제시함으로써, 업그레이드의 압축성과 볼록성 사이의 근본적인 상충 관계를 드러낸다.