[論文レビュー] Revisiting Reweighted Wake-Sleep

Tuan Anh Lê, Adam R. Kosiorek+3 more|arXiv (Cornell University)|Sep 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 10

ひとこと要約

この論文は、離散潜在変数モデルの学習に用いる再重み付け Wake-Sleep (RWS) アルゴリズムを再考し、制御変数やパスワイズ導出に依存しないことで、高分散勾配推定を回避できることを示している。RWS は最先端の手法を上回り、より多くの粒子を用いることでより良いモデルを学習でき、連続的モデルに対しても効果的に一般化される。

ABSTRACT

Discrete latent-variable models, while applicable in a variety of settings, can often be difficult to learn. Sampling discrete latent variables can result in high-variance gradient estimators for two primary reasons: 1. branching on the samples within the model, and 2. the lack of a pathwise derivative for the samples. While current state-of-the-art methods employ control-variate schemes for the former and continuous-relaxation methods for the latter, their utility is limited by the complexities of implementing and training effective control-variate schemes and the necessity of evaluating (potentially exponentially) many branch paths in the model. Here, we revisit the reweighted wake-sleep (RWS) (Bornschein and Bengio, 2015) algorithm, and through extensive evaluations, show that it circumvents both these issues, outperforming current state-of-the-art methods in learning discrete latent-variable models. Moreover, we observe that, unlike the importance weighted autoencoder, RWS learns better models and inference networks with increasing numbers of particles, and that its benefits extend to continuous latent-variable models as well. Our results suggest that RWS is a competitive, often preferable, alternative for learning deep generative models.

研究の動機と目的

• 離散潜在変数モデルの学習における高分散勾配推定問題に対処すること。
• 制御変数スキームや連続的リラクゼーション手法の制限を乗り越え、離散潜在変数を効果的に扱うこと。
• 既存の手法と比較して、RWS がモデルおよび推論ネットワークの学習をより良く行えるかどうかを評価すること。
• RWS の利点が、モデル内の粒子数を増やすに従ってスケーリングするかどうかを調査すること。
• RWS が離散的モデルにとどまらず、連続的潜在変数設定に対しても適用可能かどうかを検討すること。

提案手法

• Bornschlein と Bengio (2015) が初めて提唱した再重み付け Wake-Sleep (RWS) アルゴリズムを再検討し、離散潜在変数を有する深層生成モデルの学習に用いる。
• パスワイズ導出や制御変数に依存せずに、複数の粒子を用いた再重み付けスキームにより勾配を推定する。
• 生成モデルが推論モデルの事後分布を用いて更新され、逆に推論モデルが生成モデルの出力に基づいて更新されるという、粒子に基づいた再重み付けを伴う Wake-Sleep 更新ルールを採用する。
• 微分可能でないサンプリングを必要とせずに、複数のサンプルにおける重要度重み付けを活用して勾配推定の分散を低減する。
• 一般化性とスケーラビリティを評価するために、RWS フレームワークを離散的および連続的潜在変数モデルの両方へ適用する。
• 複数のベンチマークデータセットを用いた広範な実験評価を通じて、RWS を最先端のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 RWS は、制御変数や連続的リラクゼーションに依存せずに、離散潜在変数モデルにおける高分散勾配推定を効果的に軽減できるか？
• RQ2 RWS の粒子数を増やすことで、モデルおよび推論ネットワークの学習が向上するか？
• RQ3 RWS は重要度重み付きオートエンコーダーや他の最先端手法と比較して、モデル品質および学習安定性において優れているか？
• RQ4 RWS は連続的潜在変数モデルへも成功裏に拡張可能であり、そのような設定でも利点を維持できるか？
• RQ5 粒子数の変動が、離散的および連続的設定における RWS の性能に与える影響は何か？

主な発見

• RWS は、複雑な制御変数スキームや連続的リラクゼーションに依存しないことで、現在の最先端手法を離散潜在変数モデルの学習において上回っている。
• 粒子数を増やすにつれて、RWS はモデルおよび推論ネットワークの品質が向上し、一貫したスケーラビリティと改善が得られることを示している。
• 重要度重み付きオートエンコーダーとは異なり、RWS は粒子数を増やしても利得の減少を経験せず、強力な性能向上を維持している。
• RWS の利点は離散的モデルにとどまらず、連続的潜在変数モデルに対しても競争力のある性能を示している。
• RWS は、微分可能でないサンプリングや補助的な学習コンponent を必要とせずに、勾配の分散低減において頑健で効果的であることが示された。