[논문 리뷰] Automorphism Groups of Graphical Models and Lifted Variational Inference

Hung Bui, Tuyen N. Huynh외 1명|arXiv (Cornell University)|2013. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 48

한 줄 요약

이 논문은 확률적 그래픽 모델에서 대칭성을 공식화하기 위해 자동형군을 프레임워크로 도입하며, 동일한 주변확률을 가진 변수와 특징을 궤도로 묶음으로써 상향식 변분 추론을 가능하게 한다. 사이클 제약 조건을 사용한 최초의 상향식 변분 추론 알고리즘을 제안하여 지수족에서 MAP 추론의 계산 복잡도를 크게 감소시킨다.

ABSTRACT

Using the theory of group action, we first introduce the concept of the automorphism group of an exponential family or a graphical model, thus formalizing the general notion of symmetry of a probabilistic model. This automorphism group provides a precise mathematical framework for lifted inference in the general exponential family. Its group action partitions the set of random variables and feature functions into equivalent classes (called orbits) having identical marginals and expectations. Then the inference problem is effectively reduced to that of computing marginals or expectations for each class, thus avoiding the need to deal with each individual variable or feature. We demonstrate the usefulness of this general framework in lifting two classes of variational approximation for maximum a posteriori (MAP) inference: local linear programming (LP) relaxation and local LP relaxation with cycle constraints; the latter yields the first lifted variational inference algorithm that operates on a bound tighter than the local constraints.

연구 동기 및 목표

• 지수족의 자동형군을 포함한 군 이론을 사용하여 확률 모델의 대칭성을 공식화하기 위해.
• 궤도 기반 변수 및 특징 묶음을 통해 대칭성을 활용하여 MAP 추론의 복잡도를 감소시키기 위해.
• 개별 변수가 아닌 집합화된 클래스에서 작동하는 상향식 변분 추론 방법을 개발하기 위해.
• 국소 선형 프로그래밍 허용을 사이클 제약 조건과 결합하여 상향식 추론에서 더 타당한 경계를 확보하기 위해.
• 다양한 그래픽 모델에 적용 가능한 일반적인 수학적 프레임워크를 상향식 추론을 위해 제공하기 위해.

제안 방법

• 그래픽 모델의 자동형군을 정의하여, 모델의 구조와 매개변수를 유지하는 순열의 집합으로 간주한다.
• 군 작용을 사용하여 랜덤 변수와 특징 함수를 궤도로 분할하며, 궤도 내의 모든 요소는 동일한 주변확률과 기대값을 가진다.
• 개별 변수가 아닌 궤도를 대상으로 변분 추론을 공식화하여 문제 크기를 수십 수백 배 감소시킨다.
• 각 궤도에 대해 국소 선형 프로그래밍 허용을 적용하며, 사이클 제약 조건을 통해 국소 제약 조건만으로는 달성할 수 없는 더 타당한 경계를 확보한다.
• 궤도 구조를 활용하여 대칭 인식 최적화를 통해 근사 주변확률과 기대값을 효율적으로 계산한다.
• 상향식 프레임워크를 지수족에서 사후확률 최대화 추정을 위한 변분 추론에 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 군 이론을 사용하여 그래픽 모델의 대칭성을 공식적으로 기술할 수 있는가?
• RQ2 자동형군을 사용하여 지수족에서 변분 추론의 복잡도를 줄일 수 있는가?
• RQ3 상향식 변분 추론에 사이클 제약 조건을 통합할 경우 어떤 영향을 미치는가?
• RQ4 상향식 추론이 전통적인 국소 허용 방법보다 더 타당한 경계를 달성할 수 있는가?
• RQ5 궤도 기반 집합화는 MAP 추론에서 확장성에 어떤 영향을 미치는가?

주요 결과

• 자동형군은 확률 모델 내에서 대칭 변수와 특징을 정확히 식별하는 정밀한 수학적 프레임워크를 제공한다.
• 동일한 궤도 내 변수와 특징은 동일한 주변확률과 기대값을 가지며, 이는 추론 시 집합화를 가능하게 한다.
• 상향식 변분 추론은 변수를 궤도로 묶음으로써 계산해야 할 변수 수를 줄여 상당한 확장성을 향상시킨다.
• 사이클 제약 조건을 적용한 본 논문의 방법은 국소 제약 조건만 사용하는 경우보다 더 타당한 변분 경계를 달성하며, 이는 개선된 타당성으로서 최초의 상향식 알고리즘이다.
• 이 프레임워크는 개별 변수가 아닌 궤도 수준의 표현에서 작동하므로 효율적인 MAP 추론을 가능하게 한다.
• 실험 결과는 대칭성 활용이 추론 품질을 훼손하지 않으면서도 상당한 계산 절감 효과를 가져온다는 것을 입증한다.