[논문 리뷰] Composing graphical models with neural networks for structured representations and fast inference

Matthew Johnson, David Duvenaud외 3명|arXiv (Cornell University)|2016. 03. 20.

Neural Networks and Applications참고 문헌 18인용 수 232

한 줄 요약

논문은 Structured Variational Autoencoders (SVAEs)를 도입하여 잠재 그래프 모델과 신경망 관찰 모델을 결합하고, 인식 네트워크를 통한 빠른 추론과 효율적인 메시지 전달을 가능하게 한다.

ABSTRACT

We propose a general modeling and inference framework that composes probabilistic graphical models with deep learning methods and combines their respective strengths. Our model family augments graphical structure in latent variables with neural network observation models. For inference, we extend variational autoencoders to use graphical model approximating distributions with recognition networks that output conjugate potentials. All components of these models are learned simultaneously with a single objective, giving a scalable algorithm that leverages stochastic variational inference, natural gradients, graphical model message passing, and the reparameterization trick. We illustrate this framework with several example models and an application to mouse behavioral phenotyping.

연구 동기 및 목표

• 확률적 그래픽 모델과 딥 러닝을 결합하여 구조화된 잠재 표현과 비선형 관찰 모델을 학습한다.
• 인식 네트워크를 사용하여 공액 지수 가족 포텐셜을 출력하고 이를 그래픽 모델 추론과 결합 가능하게 한다.
• 확률적 변분 추론, 메시지 전달, 재매개화(reparameterization)를 엔드투엔드 학습에 통합하는 SVAE 알고리즘을 개발한다.
• 깊이 비디오로부터 마우스 행동을 구분하고 분류하는 등의 태스크에서 프레임의 프레임 속성으로 프레임 구조를 보여주는 프레임워크를 시연한다.
• 무한대나 일반적인 주제에 걸쳐(discrete/continuous latent structure with neural observation models) 확장 가능한 일반 모델링 템플릿(예: warped mixtures, latent LDS, latent SLDS)을 제공한다.

제안 방법

• 잠재 그래픽 모델과 신경망 관찰 우도likelihood를 결합하는 일반 모델링 프레임워크를 제안한다.
• 인식 네트워크를 사용하여 그래픽 모델 추론과 결합 가능한 공액 지수-계열 포텐셜을 출력한다.
• SVAE 목적함수로, 평균장 변분 목적함수의 하한을 확률적 그래디언트를 통해 최적화한다.
• 추론에 필요한 그래디언트를 효율적으로 계산하기 위해 공액 지수-계열 구조를 활용하고, 해당될 경우 자연그래디언트를 적용한다.
• 예시로: 유연한 클러스터링을 위한 왜곡된 혼합(warped mixtures), 비디오를 위한 잠재 선형 동역학 시스템(latent linear dynamical systems), 비디오 데이터에서의 행동 파싱을 위한 잠재 스위칭 선형 동역학 시스템(latent switching linear dynamical systems) 등을 제시한다.
• 확률적 변분 추론, 그래프 모델 메시지 전달, 재매개화 기법을 하나의 학습 파이프라인으로 통합한다.

실험 결과

연구 질문

• RQ1 구조화된 잠재 표현과 유연한 비선형 관찰 모델을 공동으로 학습할 수 있을까?
• RQ2 인식 네트워크가 공액 그래픽 모델 포텐셜을 생성하여 비공액(non-conjugate) 관찰 모델에서도 효율적인 추론을 가능하게 할 수 있을까?
• RQ3 그래프 모델과 딥 뉴럴 네트워크를 혼합한 모델의 엔드투엔드 학습은 어떻게 수행될 수 있을까?
• RQ4 구조화된 잠재 모델(LDS, SLDS)이 신경망 관찰 모델과 함께 비디오에서의 행동 구분과 같은 작업을 개선하는가?
• RQ5 SVAE가 완전히 비공액 또는 완전히 공액 접근에 비해 계산적 이점(예: 추론 속도, 최적화 안정성)을 제공하는가?

주요 결과

• 구조화된 변분 자동인코더는 그래픽-모델 구조와 신경망 관찰 모델을 결합한 엔드투엔드 학습이 가능함을 보여준다.
• 인식 네트워크가 공액 포텐셜을 출력하여 CRF 유사 변분 인자 내에서 빠른 메시지 전달 추론을 가능하게 한다.
• SVAE는 변분 목적의 하한을 제공하며, 잠재 매개변수에 대해 tractable 자연Gradient 기반 최적화를 가능하게 한다.
• 합성 데이터와 마우스의 깊이 비디오 실험에서 효과적인 잠재 상태 표현과 장기 예측의 정확성을 시연한다.
• LDS-SVAE 및 SLDS-SVAE 변형은 학습 속도를 개선하고 비디오 데이터에서 의미 있는 이산 행동 상태의 прояв를 보여준다.