[論文レビュー] Reweighted Wake-Sleep

Jörg Bornschein, Yoshua Bengio|arXiv (Cornell University)|Jun 11, 2014

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 32

ひとこと要約

この論文は、推論ネットワークから複数の重要度サンプリングされた潜在変数を用いることで、尤度勾配推定のバイアスを低減する、深層方向的生成モデルのための新しい学習手順であるReweighted Wake-Sleep (RWS) を提案する。実験の結果、特に深層アーキテクチャやNADEのようなより強力な自己回帰的推論ネットワークを用いる場合、標準的なウェイクスリープよりも顕著に優れた対数尤度を達成する。

ABSTRACT

Training deep directed graphical models with many hidden variables and performing inference remains a major challenge. Helmholtz machines and deep belief networks are such models, and the wake-sleep algorithm has been proposed to train them. The wake-sleep algorithm relies on training not just the directed generative model but also a conditional generative model (the inference network) that runs backward from visible to latent, estimating the posterior distribution of latent given visible. We propose a novel interpretation of the wake-sleep algorithm which suggests that better estimators of the gradient can be obtained by sampling latent variables multiple times from the inference network. This view is based on importance sampling as an estimator of the likelihood, with the approximate inference network as a proposal distribution. This interpretation is confirmed experimentally, showing that better likelihood can be achieved with this reweighted wake-sleep procedure. Based on this interpretation, we propose that a sigmoidal belief network is not sufficiently powerful for the layers of the inference network in order to recover a good estimator of the posterior distribution of latent variables. Our experiments show that using a more powerful layer model, such as NADE, yields substantially better generative models.

研究の動機と目的

• 正確な尤度計算が困難な多数の潜在変数を有する深層方向的グラフィカルモデルの学習の課題に対処すること。
• 単一サンプルの推論による勾配推定のバイアスに苦しむウェイクスリープアルゴリズムの改善。
• 自己回帰的モデル（例：NADE）のようなより強力な推論ネットワークアーキテクチャが、真の事後分布をより良く近似し、生成性能を向上させるかどうかの調査。
• 推論ネットワークからの複数サンプルの再重み付けが、分散が小さく、バイアスの少ない対数尤度勾配推定器をもたらすかどうかの検証。
• MNISTやCalTech 101シルエットなどの標準ベンチマーク上で、RWSの有効性を、最先端手法と比較して評価すること。

提案手法

• ウェイクスリープアルゴリズムを、単一サンプルに限定した重要度サンプリングの特殊ケースとして再解釈し、周辺尤度の推定器として位置づける。
• K個のi.i.d.サンプルを推論ネットワークから得て、尤度勾配の再重み付け推定を行う、Reweighted Wake-Sleep (RWS) を提案する。
• 推論ネットワークを提案分布として用い、真の対数尤度を重要度サンプリングで近似し、再重み付け勾配推定器を導出する。
• 再重み付けされた尤度推定値に対する勾配上昇法を用いて生成モデルを学習し、同時に推論ネットワークを真の事後分布をより良く近似するように学習する。
• 非因子的事後分布をモデル化するために、自己回帰的モデル（例：NADE）を推論ネットワークに用い、従来のシグモイド的ベリーフネットワークよりも優れた事後分布近似を実現する。
• 各層内で勾配を伝播させるのみで、層間を分離することで、層ごとの事前学習なし、または慎重な超頻度調整なしに、深層アーキテクチャの安定した学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 推論ネットワークから得る複数の重要度サンプリングされた潜在変数が、深層生成モデルの勾配推定のバイアスを低減できるか？
• RQ2 推論ネットワークに標準的なシグモイド的ベリーフネットワークの代わりに、より強力な自己回帰的モデル（例：NADE）を用いることで、事後分布近似と生成性能が向上するか？
• RQ3 再重み付け手順におけるサンプル数Kが、尤度推定の品質およびモデル性能に与える影響は何か？
• RQ4 RWSは、層数5以上のような深層アーキテクチャを、層ごとの事前学習や慎重な学習率調整なしに効果的に学習できるか？
• RQ5 生成モデル自体に自己回帰的層を組み込むことで性能が向上するか？もしそうならば、浅いモデルが依然として最適なのはなぜか？

主な発見

• K=5のサンプルを用いたRWSは、標準的なウェイクスリープ（K=1）よりも顕著に優れたテストセット対数尤度を達成し、5または10個のサンプルで十分な性能が得られる。
• NADEを用いた推論ネットワークを採用することで、生成モデルが因子的SBN層のみを用いても性能が向上し、表現力のある事後分布近似の重要性が示された。
• RWSで学習された深層SBN/SBN 10-100-200-300-400モデルは、CalTech 101シルエットデータセットでテストセット対数尤度-116.9を達成し、以前の最先端結果を上回った。
• CalTech 101シルエットデータセットで最も優れた性能を示したモデルは、浅いNADE/NADE-150ネットワークで、対数尤度-104.3を達成し、前回の最先端結果である-107.8を上回った。
• MNISTでは、RWSで学習されたモデルが、特に深層アーキテクチャにおいて古典的なウェイクスリープを常に上回り、DARNのような他の先進的モデルと同等またはそれを上回る結果を達成した。
• 性能の向上にもかかわらず、生成ネットワークに自己回帰的層を組み込んだモデルは、浅さの場合は常に最良であった。これは、自己回帰的アーキテクチャが深さを増すと最適化の課題が生じる可能性を示唆している。