[논문 리뷰] Variational Approximations between Mean Field Theory and the Junction Tree Algorithm

Wim Wiegerinck|arXiv (Cornell University)|2013. 01. 16.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 80

한 줄 요약

이 논문은 근사 분포의 군집 기반 인수분해를 사용하는 일반화된 평균장 변분 추론 방법을 제안하며, 표준 평균장 이론과 정확한 접합수 나무 알고리즘 사이의 격차를 메운다. 일반화된 평균장 방정식을 통해 군집 잠재변수를 최적화함으로써, 더 유연한 그래픽 구조를 가능하게 하고 모델 설계를 단순화하면서도 근사 정확도를 훼손하지 않는다.

ABSTRACT

Recently, variational approximations such as the mean field approximation have received much interest. We extend the standard mean field method by using an approximating distribution that factorises into cluster potentials. This includes undirected graphs, directed acyclic graphs and junction trees. We derive generalized mean field equations to optimize the cluster potentials. We show that the method bridges the gap between the standard mean field approximation and the exact junction tree algorithm. In addition, we address the problem of how to choose the graphical structure of the approximating distribution. From the generalised mean field equations we derive rules to simplify the structure of the approximating distribution in advance without affecting the quality of the approximation. We also show how the method fits into some other variational approximations that are currently popular.

연구 동기 및 목표

• 근사 분포의 군집 기반 인수분해를 允허함으로써 평균장 이론을 일반화하는 변분 추론 프레임워크를 개발하는 것.
• 확률적 그래픽 모델에서 근사가 부정확한 평균장 근사와 정확한 접합수 나무 알고리즘 사이의 격차를 메우는 것.
• 근사 분포의 구조를 사전에 단순화할 수 있는 원칙적인 규칙을 제공함으로써 근사 정확도를 저하시키지 않는 것.
• 제안된 방법을 기계 학습에서 널리 사용되는 현대적 변분 근사 기법들의 광범위한 범주에 통합하는 것.

제안 방법

• 근사 분포가 군집 잠재변수로 분해되어 무향 그래프, 방향 무순환 그래프 또는 접합수 나무로 표현 가능하도록 하는 방법을 사용한다.
• 표준 평균장 업데이트를 확장하는 군집 잠재변수 최적화를 위한 일반화된 평균장 방정식을 유도한다.
• 평균장 방법과 접합수 나무 방법 사이를 해석하는 구조적 변분 근사화를 가능하게 한다.
• 일반화된 평균장 방정식에서 유도된 그래픽 구조 단순화 규칙을 통해 복잡성을 감소시키되 근사 정확도에 영향을 주지 않는다.
• 기대값 전파 및 구조적 변분 추론과 같은 다른 현대적 변분 추론 기법들과의 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 표준 평균장 가정을 초월하여 변분 추론을 일반화하면 정확도를 향상시킬 수 있는가?
• RQ2 변분 근사 정확도 측면에서 평균장 이론과 정확한 접합수 나무 알고리즘 간의 관계는 무엇인가?
• RQ3 군집 잠재변수를 사용한 구조적 근사는 정확도와 계산 비용 사이의 트레이드오프를 향상시킬 수 있는가?
• RQ4 성능 저하 없이 근사 분포의 구조를 단순화하는 데 사용할 수 있는 기준이나 규칙은 무엇인가?
• RQ5 제안된 방법은 다른 인기 있는 변분 추론 기법들과 어떻게 관련되거나 통합되는가?

주요 결과

• 제안된 방법은 평균장 이론과 정확한 접합수 나무 알고리즘 사이를 성공적으로 해석하며, 근사 정확도의 스펙트럼을 제공한다.
• 기본 그래픽 모델의 구조와 일관성을 유지하면서 군집 잠재변수를 최적화할 수 있도록 하는 일반화된 평균장 방정식을 유도하였다.
• 계산 효율성이 평균장 방법에 가까운 접합수 나무와 같은 구조적 근사화를 가능하게 한다.
• 일반화된 방정식에서 파생된 단순화 규칙을 통해 불필요한 군집 구조를 제거할 수 있으나 근사 정확도에 영향을 주지 않는다.
• 기존의 현대적 변분 추론 프레임워크와 호환됨을 입증하여 다양한 확률 모델에 적용 가능성을 높였다.