[論文レビュー] Layer-wise learning of deep generative models

Ludovic Arnold, Yann Ollivier|arXiv (Cornell University)|Dec 7, 2012

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 12

ひとこと要約

本稿では、上位層の訓練に成功すると仮定した楽観的代理指標である最良潜在マージナル（BLM）上界を用いて、下位層から上位層へと順次訓練するための階層的訓練手順を提案する。理論的に、やや弱い条件下でもこの手法がグローバル最適解を近似できることを示し、実験的にも、生成モデル（潜在変数からデータへ）よりも推論モデル（データから潜在変数へ）を豊かにすることで性能が著しく向上することを示している。合成データおよび実データの両方で、スタックドRBMを上回る性能を達成している。

ABSTRACT

When using deep, multi-layered architectures to build generative models of data, it is difficult to train all layers at once. We propose a layer-wise training procedure admitting a performance guarantee compared to the global optimum. It is based on an optimistic proxy of future performance, the best latent marginal. We interpret auto-encoders in this setting as generative models, by showing that they train a lower bound of this criterion. We test the new learning procedure against a state of the art method (stacked RBMs), and find it to improve performance. Both theory and experiments highlight the importance, when training deep architectures, of using an inference model (from data to hidden variables) richer than the generative model (from hidden variables to data).

研究の動機と目的

• 勾配の計算が困難で、高次元の潜在空間を伴うため、深層生成モデルのエンドツーエンド訓練が困難であるという課題に対処すること。
• 階層的訓練の理論的裏付けを提供し、対数尤度のグローバル最適化を近似できることを示すこと。
• 生成モデル（潜在変数からデータへ）よりも、推論モデル（データから潜在変数へ）をより表現力豊かにすることの重要性を強調すること。
• 合成および実際の深層データセットにおいて、最先端のスタックドRBMと比較して、本手法の有効性を実証的に検証すること。
• フレームワークの実用的実装として、豊かな推論を持つ自己符号化器（AERIes）を導入し、評価すること。

提案手法

• 将来の上位層の訓練に成功すると仮定した楽観的代理指標として、BLM上界を導入する。
• BLM上界を用いて下位層を訓練し、目的関数を $ \hat{\mathcal{U}}_{\mathcal{D},q}(\theta_I) = \mathbb{E}_{\mathbf{x} \sim P_{\mathcal{D}}} \left[ \log \sum_{\tilde{\mathbf{x}}} \sum_{\mathbf{h}} P_{\theta_I}(\mathbf{x}|\mathbf{h}) q(\mathbf{h}|\tilde{\mathbf{x}}) P_{\mathcal{D}}(\tilde{\mathbf{x}}) \right] $ と定義する。
• 正確な計算が困難な大規模モデルでは、各データポイントごとにK個のサンプルを用いて、$ \hat{\hat{\mathcal{U}}}_{\mathcal{D},q}(\theta_I) $ のサンプリングに基づく近似を適用する。
• 自己符号化器を、BLM基準の下界を最適化するものとして再解釈することで、深層生成モデルにおける自己符号化器の使用に新たな理論的裏付けを提供する。
• 生成モデル $ P_{\theta_I}(\mathbf{x}|\mathbf{h}) $ を固定したまま、推論モデル $ q(\mathbf{h}|\mathbf{x}) $ を強化することで、AERIes（豊かな推論を持つ自己符号化器）を提案する。
• ハイパーパramータ選定およびモデル評価のための検証尤度の代理指標として、BLM上界を用いる。

実験結果

リサーチクエスチョン

• RQ1 階層的訓練が、対数尤度のグローバル最適解を理論的に近似できるか？
• RQ2 推論モデルの複雑さ（データから潜在変数へ）の選択が、深層生成モデルの性能に与える影響は？
• RQ3 訓練中およびハイパーパramータチューニング中に、将来のモデル性能を信頼できる代理指標としてBLM上界が機能するか？
• RQ4 生成モデルを固定したまま推論モデルを豊かにすることで、標準的な自己符号化器やスタックドRBMよりも性能が向上するか？
• RQ5 深層生成モデルのモデル選択において、対数尤度よりもBLM上界が優れた基準となるか？

主な発見

• BLM上界に基づく階層的訓練手順は、やや弱い仮定のもとでグローバル最適解を理論的に近似でき、楽観的仮定が外れた場合の明確な性能バウンディングも得られる。
• 直接の対数尤度推定よりも、BLM上界は実際の検証対数尤度と相関が高く、ハイパーパramータ選定のための優れた代理指標であることが示された。
• 豊かな推論を持つ自己符号化器（AERIes）は、合成および実データの両方で標準的な自己符号化器やスタックドRBMを上回る性能を示し、表現力豊かな推論モデルの利点を実証した。
• 実験により、K=1でサンプリングされたBLM上界が正確な上界とよく一致しており、大規模モデルにおける近似手法の妥当性が裏付けられた。
• 本手法は、下位層から上位層への学習の転送に成功し、訓練全体を通じてBLM上界が安定的かつ情報豊かな基準として機能した。
• 実験結果から、生成モデルよりも推論モデルを豊かにすることで、著しく高い性能が得られることを確認した。これは、推論が生成よりも難しいという理論的直観を裏付けるものである。