[논문 리뷰] Filtering Variational Objectives

Chris J. Maddison, Dieterich Lawson외 6명|arXiv (Cornell University)|2017. 05. 25.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 3

한 줄 요약

이 논문은 입자 필터 기반의 주변 가능성 추정기들을 활용하여 순차적 잠재변수 모델에서 최대우도추정을 위한 더 낫게 조인 하한(lower bounds)을 제안하는 필터링 변분 목표(FIVOs)를 소개한다. FIVO는 순차적 데이터에서 깊이 있는 생성 모델을 훈련시킬 때 ELBO와 IWAE를 능가하며, 더 높은 로그우도와 향상된 변분 사후 품질, 감소한 사후 붕괴(posterior collapse)를 달성한다.

ABSTRACT

When used as a surrogate objective for maximum likelihood estimation in latent variable models, the evidence lower bound (ELBO) produces state-of-the-art results. Inspired by this, we consider the extension of the ELBO to a family of lower bounds defined by a particle filter's estimator of the marginal likelihood, the filtering variational objectives (FIVOs). FIVOs take the same arguments as the ELBO, but can exploit a model's sequential structure to form tighter bounds. We present results that relate the tightness of FIVO's bound to the variance of the particle filter's estimator by considering the generic case of bounds defined as log-transformed likelihood estimators. Experimentally, we show that training with FIVO results in substantial improvements over training the same model architecture with the ELBO on sequential data.

연구 동기 및 목표

• 순차적 모델에서 복잡한 사후 의존성을 포괄하지 못하는 증거 하한(Evidence Lower Bound, ELBO)의 한계를 해결한다.
• 순차적 구조를 가진 모델에서 최대우도추정을 위한 변분 하한의 날카러움(tightness)을 향상시킨다.
• 순차적 모델링 구조를 활용하여 ELBO와 IWAE보다 더 낫게 조인 하한을 제공하는 새로운 목적함수 클래스인 필터링 변분 목표(FIVOs)를 개발한다.
• 입자 필터 추정기의 분산과 유도된 변분 하한의 날카러움 간의 관계를 조사한다.
• 실험적으로 FIVO 훈련이 순차적 데이터에서 더 나은 모델 성능을 낼 수 있음을 보여주며, 사후 붕괴 감소와 더 높은 로그우도를 달성한다.

제안 방법

• FIVOs를 입자 필터의 주변 가능성 추정기의 로그로 정의하여 진짜 로그우도의 하한으로 구성한다.
• 재표본화를 포함한 순차적 중요도 샘플링을 사용하여 효율적인 주변 가능성 추정을 수행하는 입자 필터를 구성한다.
• FIVO를 몬테카를로 목적함수(MCO)로 공식화하며, 이는 주변 가능성의 불편추정기의 로그에서 유도된 하한이다.
• 편향이 없는 기울기 추정기(특히 재표본화 단계를 위한 새로운 기울기 추정기 포함)를 사용하여 FIVO를 확률적 경사상승법으로 최적화한다.
• 변분 사후가 향후 관측치를 조건으로 삼을 수 있도록 하는 VRNN의 스무딩 변형을 도입하여 ELBO나 IWAE와 같은 날카로운 목표함수와의 비교를 가능하게 한다.
• 제어 변수와 분산 감소 기법을 적용하여 훈련을 안정화시키며, 특히 재표본화 기울기 성분에 대해 유의미한 효과를 발휘한다.

실험 결과

연구 질문

• RQ1 입자 필터 기반의 주변 가능성 추정기로 ELBO와 IWAE보다 더 낫게 조인 하한을 확보할 수 있는가?
• RQ2 입자 필터의 가능성 추정기의 분산이 유도된 FIVO 하한의 날카러움에 어떤 영향을 미치는가?
• RQ3 FIVO 훈련은 ELBO와 IWAE에 비해 순차적 데이터에서 더 나은 일반화 성능과 더 높은 로그우도를 달성하는가?
• RQ4 FIVO로 훈련된 모델이 ELBO로 훈련된 모델보다 사후 붕괴를 더 효과적으로 피하는 이유는 무엇인가?
• RQ5 재표본화 단계에서 편향된 기울기를 사용함에도 불구하고 FIVO는 안정적으로 최적화될 수 있으며, 그 실험적 결과는 무엇인가?

주요 결과

• 네 개의 음악 모델링 데이터셋과 TIMIT 음성 데이터셋에서 FIVO로 훈련된 모델은 ELBO나 IWAE로 훈련된 모델보다 유의미하게 높은 주변 로그우도를 달성했다.
• JSB Chorales 데이터셋에서 FIVO는 -4.08 nats/timestep의 훈련 세트 로그우도를 기록하여 ELBO(-5.48)와 IWAE(-5.77)를 모두 능가했다.
• TIMIT에서 FIVO는 비스무딩된 ELBO 대비 시퀀스당 6,991 nats의 상대적 로그우도 향상을 기록했으며, 모든 방법 중 최고의 성능을 보였다.
• FIVO로 훈련된 모델는 사전 분포로부터의 KL 발산이 높게 유지되어 사후 붕괴가 감소한 것으로 나타났고, 반면 ELBO로 훈련된 모델는 강한 사후 붕괴를 보였다.
• 재표본화 기울기 항을 제거한 훈련은 포함한 경우보다 더 빠른 수렴과 더 나은 성능을 보였으며, 이는 재표본화 기울기가 유해하거나 매우 변동성이 클 수 있음을 시사한다.
• 변분 사후를 향후 관측치를 고려하도록 스무딩한 결과 FIVO 성능 향상이 없었으며, 이는 IWAE와는 다름을 보여주며 FIVO의 하한이 이미 날카롭고 안정적임을 시사한다.