[논문 리뷰] Combining Generative and Discriminative Models for Hybrid Inference

Victor García Satorras, Zeynep Akata외 1명|arXiv (Cornell University)|2019. 06. 01.

Gaussian Processes and Bayesian Inference인용 수 28

한 줄 요약

이 논문은 그래픽 모델과 학습된 역매핑을 그래프 신경망 구조와 순환 추론을 통해 통합하는 하이브리드 추론 모델을 제안한다. 이는 생성적 추론과 판별적 추론 간의 자동 균형 조정을 가능하게 하여, 소음이 있는 로렌츠 난류기구와 같은 혼돈 시스템의 궤적 추정을 크게 향상시킨다. 기존 순수 그래픽 모델 및 학습 기반 추론 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

A graphical model is a structured representation of the data generating process. The traditional method to reason over random variables is to perform inference in this graphical model. However, in many cases the generating process is only a poor approximation of the much more complex true data generating process, leading to suboptimal estimation. The subtleties of the generative process are however captured in the data itself and we can ``learn to infer'', that is, learn a direct mapping from observations to explanatory latent variables. In this work we propose a hybrid model that combines graphical inference with a learned inverse model, which we structure as in a graph neural network, while the iterative algorithm as a whole is formulated as a recurrent neural network. By using cross-validation we can automatically balance the amount of work performed by graphical inference versus learned inference. We apply our ideas to the Kalman filter, a Gaussian hidden Markov model for time sequences, and show, among other things, that our model can estimate the trajectory of a noisy chaotic Lorenz Attractor much more accurately than either the learned or graphical inference run in isolation.

연구 동기 및 목표

• 순수 생성적 모델이 복잡한 데이터 생성 과정을 포괄하지 못하는 한계를 해결하기 위해.
• 관측치에서 잠재 변수로의 직접적인 매핑을 학습하여 데이터 기반 통찰을 활용하기 위해.
• 교차검증을 통해 그래픽 추론과 학습 기반 추론을 균형 잡는 통합 추론 프레임워크를 설계하기 위해.
• 혼돈 시스템과 같은 도전적인 순차적 시스템에서 추정 정확도를 향상시키기 위해.

제안 방법

• 모델은 그래픽 모델(예: 칼만 필터)과 그래프 신경망으로 구조화된 학습된 역모델을 통합한다.
• 잠재 변수 추정치를 개선하기 위해 반복적으로 수행되는 순환 신경망 아키텍처를 사용해 추론을 수행한다.
• 하이브리드 시스템은 교차검증을 통해 그래픽 추론과 학습 기반 추론 구성 요소 간 최적의 무게 조정을 자동으로 결정한다.
• 학습된 역모델은 생성적 모델이 완전히 반영하지 못하는 데이터의 미세한 패턴을 포착한다.
• 이 프레임워크는 시간 시리즈 추론을 위해 칼만 필터의 가우시안 숨겨진 마르코프 모델에 적용된다.

실험 결과

연구 질문

• RQ1 그래픽 추론과 학습 기반 추론을 융합하면 복잡한 동역학 시스템에서 추정 정확도를 향상시킬 수 있는가?
• RQ2 생성적 추론과 판별적 추론의 기여도를 최적의 비율로 균형 조절할 수 있는가?
• RQ3 혼돈 시계열 환경에서 하이브리드 모델은 순수 그래픽 또는 학습 기반 추론보다 뛰어난 성능을 보이는가?
• RQ4 학습된 역모델이 생성적 모델의 가정 오류를 어느 정도 보정할 수 있는가?

주요 결과

• 소음이 있는 혼돈 시스템인 로렌츠 난류기구에 대해 하이브리드 모델은 순수 그래픽 추론 또는 학습 기반 추론만을 사용하는 경우보다 훨씬 더 정확한 궤적 추정을 달성한다.
• 학습된 역매핑의 통합은 생성적 모델이 놓친 데이터의 미세한 특징을 포착하여 노이즈 및 모델 부정확성에 대한 강건성을 향상시킨다.
• 교차검증을 통한 자동 균형 조정이 그래픽 추론과 학습 기반 추론 구성 요소 간 효과적인 균형 조절을 가능하게 한다.
• 추론 알고리즘의 순환 구조는 잠재 변수 추정치의 반복적 개선을 가능하게 하여 수렴성과 정확도를 향상시킨다.