[논문 리뷰] Incorporating Expressive Graphical Models in Variational Approximations: Chain-Graphs and Hidden Variables

Tal El‐Hay, Nit Friedman|arXiv (Cornell University)|2013. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 10

한 줄 요약

이 논문은 복잡한 그래픽 모델에서 근사 품질을 햖스키기 위해 변분 추론 내에서 체인 그래프와 잠재변수 베이지안 네트워크를 사용하는 것을 제안한다. 표준 변분 방법을 단순한 베이지안 네트워크나 마르코프 네트워크를 넘어서 확장함으로써, 다변수 간 의존성의 더 표현력 있는 표현이 가능해지며, 이는 사후 추론에서 근사 정확도와 계산 효율성 사이의 더 나은 트레이드오프를 이끈다.

ABSTRACT

Global variational approximation methods in graphical models allow efficient approximate inference of complex posterior distributions by using a simpler model. The choice of the approximating model determines a tradeoff between the complexity of the approximation procedure and the quality of the approximation. In this paper, we consider variational approximations based on two classes of models that are richer than standard Bayesian networks, Markov networks or mixture models. As such, these classes allow to find better tradeoffs in the spectrum of approximations. The first class of models are chain graphs, which capture distributions that are partially directed. The second class of models are directed graphs (Bayesian networks) with additional latent variables. Both classes allow representation of multi-variable dependencies that cannot be easily represented within a Bayesian network.

연구 동기 및 목표

• 베이지안 네트워크나 마르코프 네트워크와 같이 너무 단순한 모델에 의존하는 표준 변분 근사의 한계를 해결한다.
• 더 풍부한 그래픽 모델 구조를 통합함으로써 변분 근사의 품질을 향상시킨다.
• 표준 유도형 또는 무방향 모델에서 포착하기 어려운 복잡한 다변수 간 의존성을 더 잘 표현할 수 있도록 한다.
• 변분 추론에서 근사 정확도와 계산 복잡도 사이의 트레이드오프를 탐색한다.
• 복잡한 사후 추론 작업에서 체인 그래프와 잠재변수 모델을 변분 근사기로 사용할 수 있는 프레임워크를 제공한다.

제안 방법

• 변분 추론에서 근사 가족으로 체인 그래프—유도형과 무방향 그래픽 모델의 혼합 구조—를 채택한다.
• 잠재변수를 베이지안 네트워크 구조에 도입하여 복잡한 의존성을 모델링하는 데 필요한 표현력을 향상시킨다.
• 이러한 더 풍부한 모델을 사용하여 로그 우도의 하한을 최적화하는 방식으로 변분 추론을 공식화한다.
• 좌표 상승 변분 추론(CAVI)을 사용하여 근사 체인 그래프 및 잠재변수 모델의 파라미터에 대한 업데이트 규칙을 유도한다.
• 체인 그래프와 잠재변수를 가진 베이지안 네트워크의 조건부 인적성 성질을 활용하여 변분 목표함수를 단순화한다.
• 표준 모델이 복잡한 의존성을 효과적으로 포착하지 못하는 실제 문제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 체인 그래프는 표준 베이지안 네트워크나 마르코프 네트워크보다 더 표현력 있는 변분 근사가 될 수 있는가?
• RQ2 베이지안 네트워크에 잠재변수를 도입하면 변분 근사의 품질이 어떻게 향상되는가?
• RQ3 더 풍부한 그래픽 모델을 사용할 경우 근사 정확도와 계산 복잡도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 체인 그래프와 잠재변수 모델은 표준 모델이 포착하지 못하는 다변수 간 의존성을 포착할 수 있는가?
• RQ5 실제 추론 작업에서 제안된 모델은 기준 변분 근사 모델 대비 성능이 어떻게 비교되는가?

주요 결과

• 체인 그래프에서는 조건부 인적성 구조의 더 표현력 있는 표현이 가능하여, 복잡한 사후 분포를 더 잘 근사할 수 있다.
• 베이지안 네트워크에 잠재변수를 통합함으로써 관측되지 않은 의존성을 포착함으로써 변분 근사의 품질이 크게 향상된다.
• 제안된 방법은 표준 변분 가족 대비 근사 정확도와 계산 효율성 사이의 트레이드오프를 더 잘 달성한다.
• 체인 그래프나 잠재변수 네트워크와 같은 표현력 있는 모델을 사용하면 변분 추론에서 로그 우도에 대한 더 날카운 경계를 확보할 수 있다.
• 실험 결과는 제안된 근사 모델이 복잡한 다변수 간 의존성을 포착하는 데 있어 표준 변분 모델보다 뛰어난 성능을 보임을 보여준다.
• 이 프레임워크는 일반적이며, 표준 변분 근사가 부족한 다양한 확률 모델에 적용될 수 있다.