[論文レビュー] The Variational Homoencoder: Learning to learn high capacity generative models from few examples

Luke Hewitt, Maxwell Nye+3 more|arXiv (Cornell University)|Jul 24, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 30

ひとこと要約

変分同型自己符号化器（VHE）は、複数の例にわたる共有潜在変数を効果的に活用できる階層的変分オートエンコーダーであり、PixelCNNのような強力な自己回帰的デコーダーが少サンプル生成モデルで効果的に機能するのを可能にする。全尤度を制限するための部分集合で訓練することで、OmniglotおよびYouTube Facesデータセットにおいて、従来のVAEやNeural Statisticianベースラインを上回る、最先端のテスト尤度、ワンショット分類精度、および条件付き生成品質を達成した。

ABSTRACT

Hierarchical Bayesian methods can unify many related tasks (e.g. k-shot classification, conditional and unconditional generation) as inference within a single generative model. However, when this generative model is expressed as a powerful neural network such as a PixelCNN, we show that existing learning techniques typically fail to effectively use latent variables. To address this, we develop a modification of the Variational Autoencoder in which encoded observations are decoded to new elements from the same class. This technique, which we call a Variational Homoencoder (VHE), produces a hierarchical latent variable model which better utilises latent variables. We use the VHE framework to learn a hierarchical PixelCNN on the Omniglot dataset, which outperforms all existing models on test set likelihood and achieves strong performance on one-shot generation and classification tasks. We additionally validate the VHE on natural images from the YouTube Faces database. Finally, we develop extensions of the model that apply to richer dataset structures such as factorial and hierarchical categories.

研究の動機と目的

• 強力な自己回帰的デコーダー（例：PixelCNN）を組み合わせた少サンプル学習において、標準VAEが潜在変数を効果的に活用できない問題に対処すること。
• Neural Statisticianのような階層モデルにおける全セット学習の計算的非現実性を克服するため、全尤度を制限する部分集合データを用いた学習法を提案すること。
• 統一された変分目的関数を用いて、階層的かつ因子的潜在構造の効果的な学習を可能にすること。
• 汎用的な深層アーキテクチャを用いて、条件付き生成、非条件付き生成、少サンプル分類を1つの階層的ベイズ枠組みで統合すること。

提案手法

• VHEは、集合Xのランダムな部分集合Dを符号化し、同じクラスに属する1つの例xを復号する変分推論目的を用いる。これにより、複数の要素間で共有される潜在変数が可能になる。
• 部分集合データDとxに依存する尤度下界を導入し、大規模または複雑なデータセットに対しても効率的な学習を可能にしつつ、階層構造を維持できる。
• 2段階の推論プロセスを採用する：まず、部分集合Dを符号化して共有潜在コードcを推論し、次にp(x|c)またはp(x|z,c)を用いて新しいサンプルxを復号する。ここでzは局所的潜在変数である。
• 階層的モデリングのため、追加の潜在層aを導入し、高レベルの構造（例：アルファベットレベルの特徴）を捉える。aとcそれぞれに対して別々の部分集合抽出を実施する。
• 因子的モデリングのため、別個のスタイル潜在変数sを導入し、デコーダーを外積s⊗cに条件づけることで、コンテンツとスタイルの分離を実現する。
• デコンボリューション型および自己回帰的デコーダー（例：PixelCNN）の両方をサポートし、変分下界に対する確率的勾配降下法により最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 標準VAEが潜在変数の活用が不十分であるため、少サンプル学習において強力な自己回帰的デコーダー（例：PixelCNN）を効果的に活用できる階層的変分オートエンコーダーは実現可能か？
• RQ2 尤度下界の部分集合ベース学習は、階層モデルにおける全セット学習と比較して、より優れた一般化性能とスケーラビリティを実現できるか？
• RQ3 VHEフレームワークは、階層的カテゴリ（例：アルファベットと文字）や分離可能な要因（例：スタイルとコンテンツ）といったより洗練された潜在構造を、統一的な枠組みで効果的にモデル化できるか？
• RQ4 VHEは、Neural Statisticianおよび標準VAEと比較して、テスト尤度、少サンプル分類精度、および条件付き画像生成品質において優れているか？
• RQ5 VHEは、先行モデルで見られるトレードオフを克服し、高品質な画像生成と正確な少サンプル分類を同時に達成できるか？

主な発見

• Omniglotデータセットにおいて、VHE PixelCNNは最高のテスト尤度（4091.3 NLL）と98.9％の5ショット分類精度を達成し、Neural Statisticianおよび標準PixelCNNを上回った。
• YouTube Facesデータセットでは、VHEにPixelCNNを適用した場合、Neural Statisticianよりもより現実的で質の高い条件付きサンプルが生成され、分類精度も高かった。
• VHEは、画像生成と少サンプル分類の両面で最先端の性能を達成し、例間で潜在変数を共有することで、高容量デコーダーを効果的に活用できることを示した。
• 階層的VHEは、文字レベルおよびアルファベットレベルの構造を効果的に学習し、未学習のアルファベットから両レベルで忠実なサンプルを生成できた。
• 因子的VHEはコンテンツとスタイルを効果的に分離し、文字とスタイルの別個の潜在コードに条件づけることで、正確なスタイル転送結果を生成できた。
• VHEフレームワークは、1例あたりの符号化コストを低減し、潜在変数の活用を向上させることで、少サンプル設定における強力な自己回帰モデルの効果的学習を可能にした。