[논문 리뷰] Lifted Relational Variational Inference

Jaesik Choi, Eyal Amir|arXiv (Cornell University)|2012. 10. 16.

Bayesian Modeling and Causal Inference참고 문헌 32인용 수 11

한 줄 요약

이 논문은 대규모 하이브리드 연속-이산 확률 모델에서 효율적인 근사 추론을 수행하기 위해, 동일하게 분포된 베르누이 변수로 구성된 변분 모델로 분해하는 상향식 관계형 변분 추론 알고리즘을 소개한다. 상향식 변수 제거와 확률적 샘플링을 활용함으로써 추론 중에도 관계 구조를 유지하며, 복잡한 관계 시스템에서 스케일러블하고 정확한 주변 확률 추정을 가능하게 한다.

ABSTRACT

Hybrid continuous-discrete models naturally represent many real-world applications in robotics, finance, and environmental engineering. Inference with large-scale models is challenging because relational structures deteriorate rapidly during inference with observations. The main contribution of this paper is an efficient relational variational inference algorithm that factors largescale probability models into simpler variational models, composed of mixtures of iid (Bernoulli) random variables. The algorithm takes probability relational models of largescale hybrid systems and converts them to a close-to-optimal variational models. Then, it efficiently calculates marginal probabilities on the variational models by using a latent (or lifted) variable elimination or a lifted stochastic sampling. This inference is unique because it maintains the relational structure upon individual observations and during inference steps.

연구 동기 및 목표

• 대규모 하이브리드 연속-이산 확률 모델에 대한 스케일러블한 추론 문제를 해결하기 위해.
• 일반적으로 관계적 분해를 악화시키는 개별 관측에도 불구하고 추론 중 관계 구조를 유지하기 위해.
• 동일하게 분포된 이항 랜덤 변수의 혼합을 사용하여 복잡한 모델을 근사하는 효율적인 변분 추론 프레임워크를 개발하기 위해.
• 상향식 추론 기법을 통해 대규모 관계 시스템에서 빠르고 정확한 주변 확률 계산을 가능하게 하기 위해.
• 로봇공학 및 환경공학과 같은 실제 적용 분야에서 표현력 있는 관계 모델링과 스케일러블한 근사 추론 사이의 격차를 메우기 위해.

제안 방법

• 이 방법은 대규모 확률 관계 모델을 동일하게 분포된 이항 랜덤 변수의 혼합으로 구성된 간단한 변분 모델로 분해한다.
• 모델을 기반으로 한 관계 구조에 기반한 상향식 변수 제거 기법을 사용하여, 기반화 없이도 개체 간 대칭성을 유지한다.
• 변분 모델에서 주변 확률을 효율적으로 계산하기 위해 상향식 확률적 샘플링을 사용한다.
• 관측에 따라 개별 관측을 조건으로 하더라도 추론 전반에 걸쳐 관계 구조를 유지한다.
• 변분 모델는 진정한 사후 분포로부터 쿨백-라이블러 발산을 최소화하도록 구성되어 최적에 가까운 형태를 취한다.
• 관계 모델링과 변분 추론을 결합하여, 구조적 효율성을 훼손하지 않으면서도 대규모 시스템으로의 추론 스케일링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 하이브리드 확률 모델에서 근사 추론 중 관계 구조를 어떻게 유지할 수 있는가?
• RQ2 대칭성과 동일하게 분포된 변수의 분해를 활용하여 변분 추론을 관계 모델에서 스케일러블하고 효율적으로 만들 수 있는가?
• RQ3 상향식 추론 기법이 하이브리드 연속-이산 시스템에 적용되었을 때의 성능은 어떠한가?
• RQ4 제안된 방법은 정확도와 스케일러비리티 측면에서 기존 추론 기법과 비교해 볼 때 어떻게 다른가?
• RQ5 상향식 변분 추론은 관계 시스템에서 계산 비용을 크게 줄이면서도 정확도를 유지할 수 있는가?

주요 결과

• 모델의 전체 기반화를 피하는 것으로 인해 제안된 알고리즘이 대규모 관계 시스템에서의 추론을 가능하게 하며, 상당한 계산 비용 절감을 달성한다.
• 상향식 추론은 관측 및 전파 과정 중에도 관계 구조를 유지하여, 기존 방법에서 관찰되는 급격한 성능 저하를 방지한다.
• 동일하게 분포된 이항 변수 혼합을 통해 구성된 변분 모델은 진정한 사후 분포에 대해 거의 최적의 근사치를 제공한다.
• 상향식 변수 제거와 확률적 샘플링은 모든 변수를 명시적으로 나열하지 않고도 효율적인 주변 확률 계산을 가능하게 한다.
• 로봇공학, 금융, 환경공학과 같은 실제 적용 분야에서의 스케일러블성과 정확도를 입증한다.
• 실험 결과는 런타임과 스케일러비리티 측면에서 기존 추론 기법을 능가하면서도 높은 정확도를 유지함을 보여준다.