[論文レビュー] Joint Stochastic Approximation learning of Helmholtz Machines

Haotian Xu, Zhijian Ou|arXiv (Cornell University)|Mar 20, 2016

Gaussian Processes and Bayesian Inference参考文献 16被引用数 6

ひとこと要約

本稿では、ロビンズ・モンローの確率的近似を用いて、周辺尤度と包含的KL発散を直接最適化する、Helmholtzマシンのトレーニングのための新規アルゴリズムであるJoint Stochastic Approximation (JSA) を提案する。勾配更新を根の探索問題として定式化し、MTMISなどのMCMCオペレータを用いることで、RWSに比べてMNIST上で優れた尤度性能を達成し、収束が速く、サンプリング効率が高い。

ABSTRACT

Though with progress, model learning and performing posterior inference still remains a common challenge for using deep generative models, especially for handling discrete hidden variables. This paper is mainly concerned with algorithms for learning Helmholz machines, which is characterized by pairing the generative model with an auxiliary inference model. A common drawback of previous learning algorithms is that they indirectly optimize some bounds of the targeted marginal log-likelihood. In contrast, we successfully develop a new class of algorithms, based on stochastic approximation (SA) theory of the Robbins-Monro type, to directly optimize the marginal log-likelihood and simultaneously minimize the inclusive KL-divergence. The resulting learning algorithm is thus called joint SA (JSA). Moreover, we construct an effective MCMC operator for JSA. Our results on the MNIST datasets demonstrate that the JSA's performance is consistently superior to that of competing algorithms like RWS, for learning a range of difficult models.

研究の動機と目的

• 既存のHelmholtzマシン学習アルゴリズムが周辺尤度の下界を間接的に最適化するという制限を解消すること。
• 離散的隠れ変数を有する深層生成モデルにおける周辺尤度と包含的KL発散の直接最適化フレームワークを構築すること。
• 確率的近似理論（ロビンズ・モンロー）を生成モデルと推論モデルの共同学習に統合すること。
• 推論モデルをプロポーザル分布として用いることで、MISおよびMTMISのような効率的なMCMCオペレータを設計すること。
• MNISTのようなベンチマークデータセット上で、JSAの尤度性能と収束速度の優位性を実証的に検証すること。

提案手法

• 周辺尤度と包含的KL発散の勾配を0に設定することで、確率的近似を用いて生成モデルと推論モデルの共同学習を根の探索問題として定式化する。
• 必要な勾配を期待値として表現し、徐々に小さくなるステップサイズを用いた確率的近似により、反復的なパラメータ更新を可能にする。
• SAフレームワーク内でのMCMC移動の構築に、推論モデル $ q_{\bm{\phi}}(\bm{h}|\bm{x}) $ をプロポーザル分布として用いる。
• 標準的なメトロポリス独立サンプリング（MIS）と複数試行メトロポリス独立サンプリング（MTMIS）の2つのMCMCオペレータを採用し、混合性と収束性を向上させる。
• 各移動で10個の試行サンプルを抽出し、受容確率に基づいて1つを選択することでMTMISを適用し、標準MISに比べてサンプリング効率を向上させる。
• ミニバッチSGDを用い、学習率を0.0005と0.001に設定し、検証尤度に基づいて最良の実行結果を選択する。

実験結果

リサーチクエスチョン

• RQ1 確率的近似は、Helmholtzマシンにおける周辺尤度と包含的KL発散を共同で最適化するために効果的に適用可能か？
• RQ2 MCMCで推論モデルをプロポーザル分布として用いることで、JSAにおける収束性と尤度性能が向上するか？
• RQ3 JSAフレームワーク内において、MTMISはMISに比べてサンプリング効率と収束速度で優れているか？
• RQ4 JSAは、MNISTのような離散的ベイズネットワークにおいて、RWSなどの最先端手法に比べてより優れたテスト尤度を達成するか？
• RQ5 JSAは連続的および離散的隠れ変数を処理でき、困難なモデルにおいても性能を維持できるか？

主な発見

• JSA-MTMISは、MNISTにおける全モデルアーキテクチャでRWSに比べて一貫して優れたテスト尤度を達成し、ベルヌーイおよび多項分布の隠れユニットを有するSBNに対しても同様に優位性を示す。
• 200-200-200-10(C)モデルでは、JSA-MTMISがテスト尤度87.82を達成し、RWSの88.43を上回るが、下界は96.58である。
• JSA-MISは、低サンプリング効率のため、JSA-MTMISやRWSと比べて10倍遅く収束し、受容率は40〜50％にとどまる。
• JSA-MTMISは80〜90％の受容率を達成し、JSA-MISに比べて著しく高い値であり、混合性が良く、MCMCチェーンにおける移動が大きいことを示している。
• 収束曲線から、JSA-MTMISは1エポックあたりの尤度増加量でRWSと同等またはそれを上回ることが確認され、より速い学習ダイナミクスを示している。
• 本手法は、モデルの深さや種別（ベルヌーイおよび多項分布のベイズネットワーク）にかかわらず安定した性能向上を示し、ロバストである。