[논문 리뷰] Revisiting Reweighted Wake-Sleep for Models with Stochastic Control Flow

Tuan Anh Le, Adam R. Kosiorek외 3명|arXiv (Cornell University)|2018. 05. 26.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 24

한 줄 요약

이 논문은 확률적 제어 흐름 모델(scfms)을 학습하기 위한 재가중 wake-sleep (rws) 알고리즘을 재검토하며, rws가 중요도 가중 평균 자동에ncoder(IWAE) 및 연속적 리프레젠테이션 접근법과 같은 최신 기법들을 능가함을 보여준다. IWAE와 달리 rws는 입자 수가 증가함에 따라 모델과 추론 네트워크의 품질을 모두 향상시키며, 낮은 분산의 기울기 추정기와 다양한 scfm 아키텍처에서의 강건한 성능을 제공한다.

ABSTRACT

Stochastic control-flow models (SCFMs) are a class of generative models that involve branching on choices from discrete random variables. Amortized gradient-based learning of SCFMs is challenging as most approaches targeting discrete variables rely on their continuous relaxations---which can be intractable in SCFMs, as branching on relaxations requires evaluating all (exponentially many) branching paths. Tractable alternatives mainly combine REINFORCE with complex control-variate schemes to improve the variance of naive estimators. Here, we revisit the reweighted wake-sleep (RWS) (Bornschein and Bengio, 2015) algorithm, and through extensive evaluations, show that it outperforms current state-of-the-art methods in learning SCFMs. Further, in contrast to the importance weighted autoencoder, we observe that RWS learns better models and inference networks with increasing numbers of particles. Our results suggest that RWS is a competitive, often preferable, alternative for learning SCFMs.

연구 동기 및 목표

• 이산적 분기로 인해 표준 연속적 리파라미터화 기법을 사용할 수 없는 확률적 제어 흐름 모델(scfms)에서 암시적 기울기 기반 학습의 과제를 해결하기 위해.
• 재가중 wake-sleep (rws)가 IWAE에 제어 변수를 적용하거나 연속적 리파라미터화 기법과 같은 기존 최신 기법보다 성능이 뛰어나지 않는지 평가하기 위해.
• 기존 기법들인 wake-sleep (ws) 및 가중 wake-sleep (ww)의 실패 모드, 특히 낮은 입자 수 영역에서의 분기 잘라내기(branch-pruning) 현상을 조사하기 위해.
• 편향을 줄이기 위해 방어적 샘플링 기법을 제안하고 검증하기 위해 — 특히 낮은 입자 수에서의 ww 학습에서의 편향 문제를 완화하고 추론 네트워크 품질을 향상시키기 위해.

제안 방법

• 다중 입자를 기반으로 한 재가중 추정기로 모델과 추론 네트워크를 번갈아 최적화하는 재가중 wake-sleep (rws) 알고리즘을 재검토한다.
• 기본적인 reinforce 추정기보다 분산이 낮은 기울기 추정을 위해 자기정규화 중요도 샘플링 추정기를 사용하여 모델 및 추론 네트워크 파라미터의 기울기를 계산한다.
• 낮은 입자 수 영역에서의 편향을 줄이기 위해 추론 네트워크와 균일 분포 제안을 조합한 변형인 δ-ww를 도입한다 (qϕ,δ(z|x) = (1−δ)qϕ(z|x) + δUniform(z)).
• 다양한 계산 예산을 고려하여 입자 수를 K=2, K=4, K=8로 설정하여 확장성과 성능 향상을 평가한다.
• 세 가지 벤치마크 작업에 rws를 적용한다: 확률적 문맥 자유 문법(PCFG), 다중 숫자 MNIST를 위한 Attend, Infer, Repeat (AIR) 모델, 그리고 실패 모드 분석을 위한 가우시안 혼합 모델(GMM).
• 기울기 추정을 위해 재가중 중요도 샘플링을 사용하는 모델의 기초 하한(lower bound, ELBO) 최대화를 학습 목표로 한다. 이는 이산적 확률적 제어 흐름을 다룰 수 있도록 한다.

실험 결과

연구 질문

• RQ1 rws는 IWAE에 제어 변수를 적용하거나 연속적 리파라미터화 기법과 같은 최신 기법보다 확률적 제어 흐름 모델 학습에서 성능이 뛰어나지 않는가?
• RQ2 rws의 성능은 입자 수가 증가함에 따라 어떻게 변화하며, 이는 모델과 추론 네트워크 품질을 모두 향상시키는가?
• RQ3 wake-sleep 변형에서 발생하는 분기 잘라내기 실패 모드의 원인은 무엇이며, 방어적 샘플링을 통해 이를 완화할 수 있는가?
• RQ4 어떤 영역(예: 낮은 vs. 높은 입자 수)에서 ws나 ww가 더 유리한가? 그리고 데이터 분포 편향은 학습 결과에 어떤 영향을 미치는가?
• RQ5 δ-ww와 같은 단순한 수정이 높은 입자 수 성능을 희생시키지 않고 낮은 입자 설정에서 ww의 안정성과 성능을 향상시킬 수 있는가?

주요 결과

• rws는 모든 평가된 작업에서 IWAE 기반 기법들, 즉 vimco, relax, 제어 변수를 적용한 reinforce와 비교해도 모델의 우도와 추론 네트워크 품질 측면에서 일관되게 뛰어난 성능을 보였다.
• IWAE와 달리, rws는 입자 수가 증가함에 따라 모델과 추론 네트워크 양쪽에서 성능이 단조롭게 향상되며, 특히 AIR 모델에서 입자 수 증가에 따른 추론 네트워크 품질 저하 현상이 발생하지 않았다.
• GMM 실험에서 표준 ww는 낮은 입자 수 영역(K=2)에서 편향으로 인한 분기 잘라내기 실패 모드를 보였으며, 이로 인해 모델이 좁은 지지역을 가진 채로 수축하고 전체 잠재공간을 탐색하지 못했다.
• 제안된 δ-ww 변형은 이 편향을 효과적으로 완화했으며, 낮은 입자 수 영역(K=2)에서 모든 다른 기법보다 뛰어난 성능을 보였고, 높은 입자 수에서도 강력한 성능 유지를 보였다.
• rws는 연속적 리파라미터화가 실패하는 상황, 예를 들어 무한한 재귀가 가능한 PCFG에서 효과적이었으며, 이는 복잡한 제어 흐름 아키텍처에 대한 적용 가능성을 입증한다.
• 본 연구는 ws와 ww 변형 간의 선택이 주로 기울기 편향의 근본 원인에 따라 달라지며, 데이터 분포 편향이 지배적인 경우 ww가 유리하고, 자기정규화 추정기 편향이 지배적인 경우 ws가 유리하다는 점을 확인했다.