[論文レビュー] Learning Hierarchical Features from Generative Models

Shengjia Zhao, Jiaming Song+1 more|arXiv (Cornell University)|Feb 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 36

ひとこと要約

本稿では、変分的ラダーオートエンコーダー（VLAE）を提案する。VLAEは、潜在空間を異なる抽象度の特徴をエンコードするように構造化することで、教師なし生成モデルにおいて高次元で分離された階層的特徴を学習する、新しいアーキテクチャである。スタックド階層的変分オートエンコーダーとは異なり、深層部が効果的に活用されないのに対し、VLAEは平坦で階層的なアーキテクチャを採用し、低層部に低レベル特徴、高層部に高レベルで抽象化された特徴を明示的に割り当てることで、MNIST、SVHN、CelebAで最先端の分離度を達成した。タスク固有の正則化は不要である。

ABSTRACT

Deep neural networks have been shown to be very successful at learning feature hierarchies in supervised learning tasks. Generative models, on the other hand, have benefited less from hierarchical models with multiple layers of latent variables. In this paper, we prove that hierarchical latent variable models do not take advantage of the hierarchical structure when trained with existing variational methods, and provide some limitations on the kind of features existing models can learn. Finally we propose an alternative architecture that do not suffer from these limitations. Our model is able to learn highly interpretable and disentangled hierarchical features on several natural image datasets with no task specific regularization or prior knowledge.

研究の動機と目的

• 階層的変分オートエンコーダー（HVAEs）がそのアーキテクチャ的深さにもかかわらず、意味のある分離された特徴階層を学習できない理由を調査すること。
• 標準的な変分推論で訓練されるスタックド階層モデルにおける、特徴階層の活用に関する根本的な制限を同定すること。
• スタックによる手法ではなく、構造的設計によって効果的な階層的で分離された表現の学習を可能にする代替アーキテクチャを提案すること。
• タスク固有の正則化を一切用いずに、アーキテクチャ設計そのものだけで、教師なし画像生成における解釈可能で分離された特徴を学習できることを示すこと。

提案手法

• 変分的ラダーオートエンコーダー（VLAE）を提案する。これは、1段階の深さを持つ多層の潜在変数モデルであり、各層の潜在コードが段階的に抽象度の高い特徴を捉えるように設計されている。
• 潜在空間を構造化し、低層部が低レベル特徴（例：色、テクスチャ）を、高層部が高レベルで抽象化された特徴（例：物体の識別、ポーズ、文脈）をエンコードするようにする。
• 再構成に基づく目的関数を用いて、潜在コードの全層が意味的に寄与するように促進し、深層部が生成に実際に寄与することを保証する。
• 上位層の潜在変数を下位層の特徴に条件づける階層的推論ネットワークを採用し、構造的で階層的な表現学習を可能にする。
• VAEの再帰的スタックを避けるために、一度に複数の潜在層を持つ平坦なアーキテクチャを採用し、特徴階層の退化を防ぐ。
• 追加の正則化や事前知識を一切用いずに、エビデンス下界（ELBO）を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 スタックド階層的変分オートエンコーダーは、その深さにもかかわらず、なぜ意味のある特徴階層を学習できないのか？
• RQ2 再帰的な方法で複数のVAEをスタックしないで、階層的特徴階層を学習できるか？
• RQ3 明示的な正則化を一切用いずに、アーキテクチャ設計そのものだけで、教師なし生成モデルにおける分離可能で解釈可能な特徴学習が可能か？
• RQ4 平坦で多層の潜在構造は、従来のスタックドHVAEsに比べて、どの程度優れた分離表現の学習を可能にするか？

主な発見

• スタックド階層的VAEでは、高層部が意味的に活用されない：最適な訓練でも、下層部の1つだけでデータ分布を再構成するのに十分である。
• スタックドHVAEに共通するアーキテクチャ的要素は、情報の流れが悪く、特徴階層の活用が不十分であるため、分離を促進する効果が薄い。
• 提案されたVLAEは、タスク固有の正則化や事前知識を一切用いずに、MNIST、SVHN、CelebAで非常に高い分離度の特徴を学習した。
• SVHNでは、4層の階層が色、数字の形状、文脈、グローバル構造を捉えており、各層が明確に分離された解釈可能な画像属性を制御している。
• CelebAでは、下層部が環境の色や照明を制御し、上位層部が顔の識別、ポーズ、髪の色、表情を制御しており、明確な抽象化の進行が確認された。
• VLAEは、アーキテクチャ設計と再構成損失によって分離度を達成し、明示的な特徴制御と階層的抽象化の両面でInfoGANを上回った。