[論文レビュー] Semi-Supervised Learning with Deep Generative Models

Diederik P. Kingma, Danilo Jimenez Rezende+2 more|UvA-DARE (University of Amsterdam)|Jun 20, 2014

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 1,521

ひとこと要約

この論文は、変分推論を用いてモデルと推論パラメータを同時に最適化することで、少量のラベル付き例のみを用いてもスケーラブルで正確な分類を可能にする、半教師あり学習のための深層生成モデルを提案する。本手法は、データ密度をモデル化し、クラス条件付きのコンテンツとスタイルの変動を分離することで、SVHN や MNIST などのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

The ever-increasing size of modern data sets combined with the difficulty of obtaining label information has made semi-supervised learning one of the problems of significant practical importance in modern data analysis. We revisit the approach to semi-supervised learning with generative models and develop new models that allow for effective generalisation from small labelled data sets to large unlabelled ones. Generative approaches have thus far been either inflexible, inefficient or non-scalable. We show that deep generative models and approximate Bayesian inference exploiting recent advances in variational methods can be used to provide significant improvements, making generative approaches highly competitive for semi-supervised learning.

研究の動機と目的

• ラベル付きデータが限られているが、ラベルなしデータが豊富にある半教師あり学習の課題に対処すること。
• 深層生成モデルと近似ベイズ推論を組み合わせたスケーラブルで確率的なフレームワークを構築し、一般化性能を向上させること。
• 従来の生成アプローチに見られる柔軟性の欠如、非効率性、スケーラビリティの欠如といった制限を克服すること。
• ラベル付き学習のみでは得られない、データ密度情報の有効活用により意思決定境界を改善すること。
• モデルパラメータと変分パラメータの共同最適化を実現する統一された生成モデルを用いて、標準ベンチマークで最先端の性能を示すこと。

提案手法

• 本モデルは、潜在変数 z を用いてデータを表現する深層生成アーキテクチャを採用し、x は z とクラスラベル y から生成される。
• 真の事後分布 p(z|x,y) を近似するために、認識モデル（推論ネットワーク）を用いて q(z|x,y) を推定する変分推論フレームワークを採用する。
• 大規模データセットへのスケーラビリティを実現するため、確率的変分推論を用いてモデルパラメータ θ と変分パラメータ φ を同時に最適化する。
• ラベル付きおよびラベルなしデータを統合した変分下界（ELBO）を用いて学習を実施し、モデル下での観測データの対数尤度を最大化する。
• 結合密度 p(x,y,z) をモデル化することで、帰納的学習と伝播的学習の両方をサポートし、予測には z の事後分布を用いる。
• 異なるクラス間で潜在コード z を操作することで類似性推論を可能とし、分離された表現学習の実現を示す。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルな近似ベイズ推論を組み合わせた深層生成モデルは、半教師あり学習で最先端の性能を達成できるか？
• RQ2 生成モデルは、教師ありベースラインを上回る性能を発揮するために、ラベルなしデータをどれほど効果的に活用できるか？
• RQ3 変分推論は、深層生成モデルにおけるモデルパラメータと推論パラメータの共同最適化に効果的に適用可能か？
• RQ4 学習された表現は、クラス条件付きのコンテンツとクラス内可変性（例：スタイル）をどの程度分離できるか？
• RQ5 ラベルなしデータの量が増加し、ラベル付き例の数が変化する際、モデルの性能はどのように変化するか？

主な発見

• SVHN データセットにおいて、1,000 個のラベル付き例のみを用いて、生成された特徴量に対して KNN を適用したところ、テスト精度は 77.93% を達成し、標準 KNN や TSVM ベースラインを上回った。
• NORB データセットにおいて、1,000 個のラベル付き例を用いて、生成モデルからの特徴量に対して KNN を適用したところ、テスト精度は 78.71% を達成し、ベースラインの KNN や TSVM を顕著に上回った。
• 本手法は、統一された生成モデルとモデル・変分パラメータの共同最適化を用いることで、標準的な半教師あり学習ベンチマークで最先端の性能を示した。これは、深層アーキテクチャと変分推論を組み合わせることで、生成モデルが判別的アプローチと競合可能であることを示している。
• 定性的な分析から、モデルが分離された表現を学習していることが示された。潜在変数 z はスタイルの変動を捉えており、クラスラベル y はコンテンツを制御しており、これにより異なるクラス間でスタイルを転送した類似画像の生成が可能になった。
• 確率的変分推論アルゴリズムにより、モデルパラメータと変分パラメータの効率的かつスケーラブルな共同最適化が実現され、大規模データセットへの適用が可能になった。
• 本モデルが、あるクラスのスタイルを別のクラスに転送して画像を生成する「類似性生成」を可能とすることで、意味のある表現学習の能力が裏付けられた。