[논문 리뷰] Variational Message Passing with Structured Inference Networks

Lin Wu, Nicolas Hubacher외 1명|arXiv (Cornell University)|2018. 03. 15.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 21

한 줄 요약

이 논문은 하이브리드 딥 확률 모델을 위한 변동형 메시지 전파 알고리즘을 제안하며, 구조적 추론 네트워크, 보상 추론, 자연 미분 업데이트를 통합한다. 그래픽 모델의 구조를 반영하는 추론 네트워크를 설계함으로써, 빠르고 스케일링 가능한 효율적인 추론을 가능하게 하면서도 해석 가능성은 유지하고, 시뮬레이션 및 실세계 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

Recent efforts on combining deep models with probabilistic graphical models are promising in providing flexible models that are also easy to interpret. We propose a variational message-passing algorithm for variational inference in such models. We make three contributions. First, we propose structured inference networks that incorporate the structure of the graphical model in the inference network of variational auto-encoders (VAE). Second, we establish conditions under which such inference networks enable fast amortized inference similar to VAE. Finally, we derive a variational message passing algorithm to perform efficient natural-gradient inference while retaining the efficiency of the amortized inference. By simultaneously enabling structured, amortized, and natural-gradient inference for deep structured models, our method simplifies and generalizes existing methods.

연구 동기 및 목표

• 딥 러닝과 확률적 그래픽 모델(PGMs)을 융합하여 유연하고 해석 가능한 모델을 만드는 데 도전한다.
• 딥 러닝에서 흔히 쓰이는 확률적 경사 하강법이나 PGM에서 흔한 공액 가족에 의존하는 기존 추론 알고리즘의 한계를 극복한다.
• 한 번의 알고리즘으로 보상 추론, 구조적 추론, 자연 미분 업데이트를 모두 지원하는 통합 추론 프레임워크를 개발한다.
• Johnson 등(2016)의 이전 연구를 단순화하고 일반화하며, 구조적 추론 네트워크가 빠른 보상 추론을 가능하게 하는 조건을 유도한다.
• 비공액 요소를 가진 모델에서 효과적인 추론을 가능하게 하기 위해, 구조적 추론 네트워크 내부에서 공액 근사법을 사용한다.

제안 방법

• 변동형 오토인코더(VAE)의 추론 네트워크 아키텍처에 그래픽 모델의 구조를 통합한 구조적 추론 네트워크(SINs)를 제안하며, 생성 모델의 조건부 의존성과 유사하게 동작하도록 한다.
• 모델의 조건부 독립성 구조와 일致하는 방식으로 변동형 사후분포가 인수분해되도록 보장함으로써, SINs가 표준 VAE와 유사하게 빠른 보상 추론을 지원하는 두 가지 충분조건을 도출한다.
• Khan & Lin(2017)의 최신 VMP 방법을 통합하여, 딥 네트워크 구성요소에 대해 스위치 기반 경사도를 자동으로 계산하고, PGM 구성요소에 대해 자연 미분 업데이트를 수행하는 메시지 전파 알고리즘을 유도한다.
• PGM 부분에 자연 미분 업데이트를 적용하여 수렴성과 안정성을 향상시키며, 동시에 딥 구성요소에 대해 보상 추론의 효율성을 유지한다.
• 딥 네트워크와 PGM를 융합한 하이브리드 모델, 예를 들어 혼합 모델과 상태공간 모델에 대해, 최종적으로 유도된 SAN(구조적, 보상, 자연 미분 업데이트) 알고리즘을 적용한다.
• 비공액 요소를 가진 모델에서의 추론 효능을 입증하기 위해, 스튜던트의 t-분포 요소를 가진 모델을 추론할 때 공액 가우시안 근사를 사용한다.

실험 결과

연구 질문

• RQ1 표준 VAE와 유사하게 하이브리드 딥-구조적 모델에서 보상 추론을 가능하게 하는 구조적 추론 네트워크를 설계할 수 있는가?
• RQ2 딥 네트워크와 PGM를 융합한 모델에서 구조적 추론 네트워크를 사용할 경우, 보상 추론의 효율성이 유지되는 조건은 무엇인가?
• RQ3 하이브리드 모델에서 동시에 구조적, 보상, 자연 미분 업데이트를 지원하는 통합된 변동형 추론 알고리즘이 가능한가?
• RQ4 비공액 요소(예: 스튜던트의 t-분포)를 포함한 모델에서, 추론 네트워크 내 공액 근사를 사용할 경우 제안된 방법의 성능는 어떻게 되는가?
• RQ5 SVAE와 같은 이전 최첨단 방법과 비교해 SAN 알고리즘이 더 나은 성능 또는 동등한 성능을 달성하면서도 추론 프레임워크를 단순화하는가?

주요 결과

• PINWHEEL 및 AUTO 데이터셋에서 훈련 시 SAN 알고리즘이 SVAE보다 수렴 속도가 더 빠르며, 수렴 시 성능은 유사하다.
• PINWHEEL 데이터셋에서 잠재 변수로 가우시안 혼합 모델(GMM)과 스튜던트의 t-혼합 모델(TMM)을 사용한 SAN은 GMM를 초월하며, 이상치에 대해 강건성을 유지한다. TMM는 이상치 비율이 70%일 때에도 성능을 유지한다.
• PINWHEEL 데이터의 70%가 고분산 가우시안 노이즈로 손상된 상황에서, 잠재 TMM 기반 SAN 모델은 오직 10% 이상치만 있는 GMM 기반 SAN 모델보다 훨씬 낮은 테스트 MSE를 기록한다.
• VAE는 명시적인 클러스터링 메커니즘이 없어 의미 있는 클러스터를 학습하지 못하지만, SAN은 생성 샘플을 통해 의미적으로 일관된 클러스터를 성공적으로 학습한다.
• 이 방법은 공액 모델을 초월해 일반화 가능하다: 진짜 모델이 비공액 요소(예: 스튜던트의 t-분포)를 포함하더라도, 공액 SIN은 효과적인 추론을 제공하며 강건성을 향상시킨다.
• SAN 알고리즘의 구현 코드는 GitHub에 공개되어 있어 재현성과 프레임워크의 향후 확장이 가능하다.