[論文レビュー] Revisiting Reweighted Wake-Sleep for Models with Stochastic Control Flow

Tuan Anh Le, Adam R. Kosiorek+3 more|arXiv (Cornell University)|May 26, 2018

Gaussian Processes and Bayesian Inference参考文献 31被引用数 24

ひとこと要約

この論文は、確率的制御フロー・モデル（scfms）の学習に用いる再重み付け Wake-Sleep（rws）アルゴリズムを再検討し、IWAE や連続的リラクゼーション手法と比較して優れた性能を示すことを示している。IWAEとは異なり、rws は粒子数を増やすことでモデルと推論ネットワークの両方の品質が向上し、低い分散の勾配推定器を提供し、さまざまな scfm アーキテクチャにおいても安定した性能を発揮する。

ABSTRACT

Stochastic control-flow models (SCFMs) are a class of generative models that involve branching on choices from discrete random variables. Amortized gradient-based learning of SCFMs is challenging as most approaches targeting discrete variables rely on their continuous relaxations---which can be intractable in SCFMs, as branching on relaxations requires evaluating all (exponentially many) branching paths. Tractable alternatives mainly combine REINFORCE with complex control-variate schemes to improve the variance of naive estimators. Here, we revisit the reweighted wake-sleep (RWS) (Bornschein and Bengio, 2015) algorithm, and through extensive evaluations, show that it outperforms current state-of-the-art methods in learning SCFMs. Further, in contrast to the importance weighted autoencoder, we observe that RWS learns better models and inference networks with increasing numbers of particles. Our results suggest that RWS is a competitive, often preferable, alternative for learning SCFMs.

研究の動機と目的

• 離散的分岐が標準的な連続的リラクゼーション手法の適用を不可能にするため、確率的制御フロー・モデル（scfms）におけるアモルタイズド勾配ベースの学習の課題に取り組む。
• 再重み付け Wake-Sleep（rws）が、制御変数付きIWAE や連続的リラクゼーション手法といった既存の最先端手法を上回るかを評価する。
• Wake-Sleep（ws）や重み付き Wake-Sleep（ww）といった既存手法の失敗モード、特に低粒子数領域における分岐の刈り取り（branch-pruning）を特定する。
• 偏りを低減するための防御的サンプリング拡張（δ-ww）を提案し、低粒子数での学習における偏りを軽減するとともに、推論ネットワークの品質を向上させる。

提案手法

• 複数の粒子に基づく再重み付け推定器を用いて、生成モデルと推論ネットワークを交互に最適化する再重み付け Wake-Sleep（rws）アルゴリズムを再検討する。
• ナーブな REINFORCE 推定器と比較して分散を低減するため、自己正規化重要度サンプリング推定器を用いて、モデルおよび推論ネットワークのパラメータの勾配を計算する。
• 低粒子数領域におけるバイアスを低減するため、推論ネットワークと一様分布（qϕ,δ(z|x) = (1−δ)qϕ(z|x) + δUniform(z)）を組み合わせた、重み付き Wake-Sleep の変種である δ-ww を導入する。
• K=2, K=4, K=8 の複数の粒子設定を用いて、異なる計算リソース下でのスケーラビリティと性能向上を評価する。
• rws を3つのベンチマークタスクに適用する：確率的文法（PCFG）、多桁 MNIST 用の Attend, Infer, Repeat（AIR）モデル、および失敗モードを分析するためのガウス・ミックス・モデル（GMM）。
• 訓練目的として、モデルの証拠下限界（ELBO）の最大化を採用し、離散的確率的制御フローを扱うために再重み付け重要度サンプリングによる勾配推定を実施する。

実験結果

リサーチクエスチョン

• RQ1 rws は、制御変数付きIWAE や連続的リラクゼーション手法に比べ、確率的制御フロー・モデルの学習において優れた性能を示すか？
• RQ2 rws の性能は粒子数の増加に伴いどのように変化するか？また、モデルと推論ネットワークの両方の品質が向上するか？
• RQ3 Wake-Sleep の変種における分岐の刈り取りという失敗モードの原因は何か？防御的サンプリングによって是正可能か？
• RQ4 どの領域（例：低粒子数対高粒子数）で ws や ww がより適しているか？また、データ分布バイアスは学習結果にどのように影響するか？
• RQ5 δ-ww という単純な修正により、高粒子数性能を損なわずに低粒子数領域における ww の安定性と性能を向上させられるか？

主な発見

• rws は、評価されたすべてのタスクにおいて、vimco や relax、制御変数付き reinforce と比較して、モデル尤度および推論ネットワーク品質の両面で一貫して優れた性能を示す。
• IWAE とは異なり、粒子数を増やすと推論ネットワークの品質が低下する（特に AIR では顕著）が、rws ではモデルと推論ネットワークの両方が粒子数の増加に伴い単調に向上する。
• GMM 実験では、標準的な ww は低粒子数領域（K=2）でバイアスに起因する分岐の刈り取りという失敗モードを示し、モデルが狭いサポートに収束し、潜在空間全体を探索できなくなる。
• 提案された δ-ww は、このバイアスを効果的に緩和し、低粒子数領域（K=2）で他のすべての手法を上回る性能を発揮するとともに、高粒子数でも優れた性能を維持する。
• rws は、連続的リラクゼーションが失敗する状況（例：無限の再帰が可能な PCFG）においても有効であり、複雑な制御フロー構造への適用可能性を示している。
• 本研究では、ws と ww の選択は、勾配バイアスの主な要因に依存することを確認した：データ分布バイアスが支配的であれば ww が適しており、自己正規化推定器バイアスが支配的であれば ws が適している。