[논문 리뷰] Revisiting Reweighted Wake-Sleep

Tuan Anh Lê, Adam R. Kosiorek외 3명|arXiv (Cornell University)|2018. 09. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 10

한 줄 요약

이 논문은 이산 잠재변수 모델을 훈련하기 위한 재가중 wake-sleep (RWS) 알고리즘을 재검토하며, 제어 변수나 경로별 도함수를 필요로 하지 않기 때문에 고분산 추정을 피할 수 있음을 보여준다. RWS는 최신 기법들을 능가하며, 더 많은 입자 수를 사용할수록 더 나은 모델을 학습하고, 연속 모델로도 효과적으로 일반화된다.

ABSTRACT

Discrete latent-variable models, while applicable in a variety of settings, can often be difficult to learn. Sampling discrete latent variables can result in high-variance gradient estimators for two primary reasons: 1. branching on the samples within the model, and 2. the lack of a pathwise derivative for the samples. While current state-of-the-art methods employ control-variate schemes for the former and continuous-relaxation methods for the latter, their utility is limited by the complexities of implementing and training effective control-variate schemes and the necessity of evaluating (potentially exponentially) many branch paths in the model. Here, we revisit the reweighted wake-sleep (RWS) (Bornschein and Bengio, 2015) algorithm, and through extensive evaluations, show that it circumvents both these issues, outperforming current state-of-the-art methods in learning discrete latent-variable models. Moreover, we observe that, unlike the importance weighted autoencoder, RWS learns better models and inference networks with increasing numbers of particles, and that its benefits extend to continuous latent-variable models as well. Our results suggest that RWS is a competitive, often preferable, alternative for learning deep generative models.

연구 동기 및 목표

• 이산 잠재변수 모델 훈련에서 고분산 추정 문제를 해결하기 위해.
• 제어 변수 기법과 연속적 리듬화 방법이 이산 잠재변수를 처리하는 데 한계를 보일 때 이를 극복하기 위해.
• 기존 방법들과 비교해 RWS가 더 나은 모델과 추론 네트워크 학습을 달성할 수 있는지 평가하기 위해.
• RWS의 이점이 모델 내 입자 수가 증가함에 따라 확장되는지 조사하기 위해.
• RWS가 이산 모델을 넘어서 연속 잠재변수 설정에도 적용 가능한지 탐색하기 위해.

제안 방법

• Bornschlein과 Bengio(2015)가 처음 제안한 재가중 웨이크-슬립(RWS) 알고리즘을 재검토하여 이산 잠재변수를 가진 딥 생성 모델을 훈련하기 위해 사용한다.
• 경로별 도함수나 제어 변수에 의존하지 않고, 다수의 입자에 대한 재가중 기법을 활용해 기울기를 추정한다.
• 생성 모델이 추론 모델의 사후분포를 사용해 업데이트되고, 반대로도 마찬가지로 업데이트되는 웨이크-슬립 업데이트 규칙을 적용하며, 입자 기반 재가중을 통합한다.
• 다중 샘플에 걸쳐 중요도 가중치를 적용하여 기울기 추정의 분산을 줄이며, 미분 가능 샘플링이 필요하지 않다.
• 일반화성과 확장성을 평가하기 위해 RWS 프레임워크를 이산 및 연속 잠재변수 모델 모두에 적용한다.
• 다양한 벤치마크 데이터셋을 대상으로 광범위한 실험적 평가를 수행하여 RWS를 최신 기준 기반과 비교한다.

실험 결과

연구 질문

• RQ1 RWS는 제어 변수나 연속적 리듬화 방법에 의존하지 않고 이산 잠재변수 모델에서 고분산 기울기 추정 문제를 효과적으로 완화할 수 있는가?
• RQ2 RWS에서 입자 수를 늘릴수록 모델과 추론 네트워크 학습이 향상되는가?
• RQ3 모델 품질과 훈련 안정성 측면에서 RWS는 중요도 가중 자동에ncoder 및 기타 최신 기술들과 비교해 어떻게 다른가?
• RQ4 RWS는 연속 잠재변수 모델로 성공적으로 확장될 수 있으며, 그러한 환경에서도 그 이점을 유지하는가?
• RQ5 입자 수가 이산 및 연속 환경 모두에서 RWS의 성능에 미치는 영향는 어떠한가?

주요 결과

• RWS는 복잡한 제어 변수 기법과 연속적 리듬화 방법이 필요 없기 때문에 현재 최신 기술(SOTA)을 능가하며 이산 잠재변수 모델을 학습한다.
• 입자 수가 증가할수록 RWS는 더 나은 모델과 추론 네트워크 품질을 달성하며, 일관된 확장성과 향상 가능성을 보여준다.
• 중요도 가중 자동에ncoder와 달리, RWS는 더 많은 입자를 사용할수록 수익 감소 현상이 발생하지 않으며, 뚜렷한 성능 향상을 유지한다.
• RWS의 이점은 이산 모델을 넘어서며, 연속 잠재변수 모델에서도 경쟁력 있는 성능을 보인다.
• RWS는 미분 가능 샘플링이나 보조 훈련 구성 요소가 필요 없이 기울기 분산을 효과적으로 줄이는 데 뛰어난 강건성과 효율성을 보여준다.