[論文レビュー] Semi-Supervised Generation with Cluster-aware Generative Models

Lars Maaløe, M. Fraccaro+1 more|arXiv (Cornell University)|Apr 3, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 12

ひとこと要約

本稿では、教師なしデータを活用して深層潜在空間における構造的でクラスターアウェアな表現を学習し、限定的な教師ありデータを用いてこれらのクラスタを精緻化する、変分オートエンコーダーであるCluster-aware Generative Model (CaGeM) を提案する。このモデルは、順列不変なMNISTにおいて−79.38 natsという最先端の尤度スコアを達成し、高次の層における明示的なクラスタリングにより、変動要因の分離を実現することで生成モデルの性能を向上させる。

ABSTRACT

Deep generative models trained with large amounts of unlabelled data have proven to be powerful within the domain of unsupervised learning. Many real life data sets contain a small amount of labelled data points, that are typically disregarded when training generative models. We propose the Cluster-aware Generative Model, that uses unlabelled information to infer a latent representation that models the natural clustering of the data, and additional labelled data points to refine this clustering. The generative performances of the model significantly improve when labelled information is exploited, obtaining a log-likelihood of -79.38 nats on permutation invariant MNIST, while also achieving competitive semi-supervised classification accuracies. The model can also be trained fully unsupervised, and still improve the log-likelihood performance with respect to related methods.

研究の動機と目的

• 過学習を避けることなく、教師ありデータを限定的に統合することで、教師なしVAEに統合することにより、深層生成モデルの性能を向上させること。
• 深層VAEにおける潜在層の未利用問題に取り組むために、構造的クラスタリングを通じて高次の確率的層の活性化を促進すること。
• 教師ありデータが分類精度を越えて生成性能を向上させる半教師あり生成を可能にすること。
• 離散的潜在変数を用いて、深層表現における自然なデータクラスタリングをモデル化することで、分離性と生成品質を向上させること。

提案手法

• データ表現における自然なクラスタリングをモデル化するため、トップ層に離散的潜在変数を導入することで、標準的なVAEを拡張する。
• 教師なしデータを用いて離散的変数を介してクラスタ構造を推論し、クラスターアウェアな事前分布を形成する。
• 教師ありデータを統合してクラスタ割り当てを精緻化し、クラス条件付きクラスタリングを通じて生成モデルの性能を向上させる。
• 再パラメトリゼーション勾配を用いた変分推論を適用し、ELBOを最適化することで、エンドツーエンドの学習を可能にする。
• 下流からの依存関係を持つ階層的推論ネットワークを採用し、事後分布を近似する。
• まず教師なしデータで学習を行い、その後教師ありデータでファインチューニングする二段階の訓練スキームを採用することで、過学習を回避する。

実験結果

リサーチクエスチョン

• RQ1 限定的な教師ありデータは、分類精度を超えて生成性能を向上させることができるか？
• RQ2 教師なしデータをどのように活用して、意味のあるクラスタに構造化された深層潜在表現を形成できるか？
• RQ3 VAEのトップ層に離散的潜在変数を導入することで、より深い確率的層の活性化と有用性を向上させることができるか？
• RQ4 クラスターアウェアな表現学習は、生成モデルにおける尤度スコアと分離性の両面で優れた性能をもたらすか？
• RQ5 1つのモデルが、半教師あり生成と半教師あり分類の両方で競争力のある性能を達成できるか？

主な発見

• CaGeMは、順列不変なMNISTにおいて−79.38 natsという、半教師あり生成モデルの分野で新たな最先端の尤度スコアを達成した。
• OMNIGLOTデータセットにおいて、教師なしデータと教師ありデータの両方を活用することで、類似のVAEベースのモデルよりも尤度スコアが向上した。
• 完全に教師なしで訓練された場合でも、CaGeMはベースラインのVAEよりも尤度スコアが優れており、より優れた表現学習を示した。
• トップ層に離散的潜在変数を導入することで、より深い確率的層へのプルーニング効果が顕著に低減され、優れた特徴抽象化が可能になった。
• 半教師あり分類精度においても、競争力のある性能を達成しており、生成と分類の両タスクにおける二重利便性を示した。
• 教師ありデータの統合により、潜在空間内のクラスタ構造が精緻化され、より分離され、意味のある表現が得られた。