[논문 리뷰] Reweighted Wake-Sleep

Jörg Bornschein, Yoshua Bengio|arXiv (Cornell University)|2014. 06. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 32

한 줄 요약

이 논문은 깊이 있는 방향성 생성 모델을 위한 새로운 학습 절차인 재가중 Wake-Sleep(RWS)을 제안한다. 이는 추론 네트워크에서 다중 중요도 표본화된 잠재 변수를 사용하여 우도 기울기 추정기의 편향을 줄임으로써 Wake-Sleep 알고리즘을 개선한다. 실험 결과, 특히 더 깊은 아키텍처와 NADE와 같은 더 강력한 순차적 추론 네트워크를 사용할 경우, 표준 Wake-Sleep보다 유의미하게 높은 우도를 달성한다.

ABSTRACT

Training deep directed graphical models with many hidden variables and performing inference remains a major challenge. Helmholtz machines and deep belief networks are such models, and the wake-sleep algorithm has been proposed to train them. The wake-sleep algorithm relies on training not just the directed generative model but also a conditional generative model (the inference network) that runs backward from visible to latent, estimating the posterior distribution of latent given visible. We propose a novel interpretation of the wake-sleep algorithm which suggests that better estimators of the gradient can be obtained by sampling latent variables multiple times from the inference network. This view is based on importance sampling as an estimator of the likelihood, with the approximate inference network as a proposal distribution. This interpretation is confirmed experimentally, showing that better likelihood can be achieved with this reweighted wake-sleep procedure. Based on this interpretation, we propose that a sigmoidal belief network is not sufficiently powerful for the layers of the inference network in order to recover a good estimator of the posterior distribution of latent variables. Our experiments show that using a more powerful layer model, such as NADE, yields substantially better generative models.

연구 동기 및 목표

• 정확한 우도 계산이 불가능한 많은 잠재 변수를 가진 깊이 있는 방향성 그래픽 모델을 학습하는 데 도전하는 것.
• 단일 샘플 추론으로 인해 기울기 추정이 편향되는 문제를 겪는 Wake-Sleep 알고리즘을 개선하는 것.
• NADE와 같은 순차적 모델과 같은 더 강력한 추론 네트워크 아키텍처가 진정한 사후분포를 더 잘 근사하고 생성 성능을 향상시킬 수 있는지 조사하는 것.
• 추론 네트워크에서 유한한 수의 샘플을 재가중함으로써 우도 기울기 추정기의 분산을 줄이고 편향을 감소시킬 수 있는지 보여주는 것.
• RWS가 MNIST 및 CalTech 101 Silhouettes와 같은 표준 벤치마크에서 최신 기법들과 비교하여 효과적으로 작동하는지 평가하는 것.

제안 방법

• Wake-Sleep 알고리즘을 단일 샘플에 기반한 중요도 표본화의 특수한 경우로 재해석하여, 이는 우도의 주변 확률을 추정하는 방법으로 간주한다.
• RWS(Reinforced Wake-Sleep)를 제안하며, 이는 추론 네트워크에서 K개의 i.i.d. 샘플을 사용하여 우도 기울기의 재가중 추정치를 계산한다.
• 중요도 표본화를 적용하여 진정한 우도를 근사하고, 추론 네트워크를 제안 분포로 사용하며 재가중 기울기 추정기를 유도한다.
• 재가중 우도 추정치에 대한 기울기 상승을 사용하여 생성 모델을 학습하고, 동시에 추론 네트워크를 진정한 사후분포를 더 잘 근사하도록 학습한다.
• 비요약성 사후분포를 모델링하기 위해 추론 네트워크에 순차적 모델(예: NADE)을 사용하여 표준 시그모이드 신뢰망보다 더 나은 사후분포 근사 성능을 향상시킨다.
• 각 레이어 내에서만 기울기를 전파함으로써 레이어 간 학습을 분리하여, 레이어별 사전학습 없이도 안정적인 깊이 있는 아키텍처 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 추론 네트워크에서 다중 중요도 표본화된 잠재 변수가 깊이 있는 생성 모델의 기울기 추정기 편향을 줄일 수 있는가?
• RQ2 추론 네트워크의 표준 시그모이드 신뢰망을 NADE와 같은 더 강력한 순차적 모델로 대체하면 사후분포 근사와 생성 성능이 향상되는가?
• RQ3 재가중 절차에서 샘플 수 K가 우도 추정의 정확도와 모델 성능에 어떤 영향을 미치는가?
• RQ4 RWS는 레이어별 사전학습 없이도 5개 이상의 레이어를 가진 깊이 있는 아키텍처를 효과적으로 학습시킬 수 있는가?
• RQ5 생성 모델 자체에 순차적 레이어를 사용하면 성능이 향상되는가? 만약 그렇다면, 왜 얕은 모델이 여전히 최적의 성능을 낼 수 있는가?

주요 결과

• K=5개의 샘플을 사용한 RWS는 표준 Wake-Sleep(K=1)보다 유의미하게 높은 테스트 세트 우도를 달성하며, 5개 또는 10개의 샘플로도 양호한 성능을 확보할 수 있다.
• NADE 기반 추론 네트워크를 사용하면 생성 모델이 단지 비요약성 SBN 레이어만 사용하더라도 성능 향상이 이루어지며, 표현력 있는 사후분포 근사의 중요성을 입증한다.
• RWS로 학습된 깊이 있는 SBN/SBN 10-100-200-300-400 모델은 CalTech 101 Silhouettes 데이터셋에서 테스트 세트 우도 -116.9를 기록하여 이전 최고 성능을 초월했다.
• CalTech 101 Silhouettes에서 가장 뛰어난 성능을 낸 모델은 얕은 NADE/NADE-150 네트워크로, 우도 -104.3을 기록하여 이전 최고 기록인 -107.8을 초월했다.
• MNIST에서 RWS로 학습된 모델은 깊이 있는 아키텍처에서 특히 고전적 Wake-Sleep보다 뛰어난 성능을 보이며, DARN과 같은 다른 고급 모델과도 경쟁하거나 그 이상의 성능을 낸다.
• 성능 향상에도 불구하고, 생성 네트워크에 순차적 레이어를 포함한 모델은 얕은 경우에 항상 최고의 성능을 보였으며, 이는 깊이 있는 순차적 아키텍처에서 최적화 문제의 가능성을 시사한다.