[論文レビュー] Auxiliary Deep Generative Models

Lars Maaløe, Casper Kaae Sønderby+2 more|arXiv (Cornell University)|Feb 17, 2016

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 154

ひとこと要約

本論文は Auxiliary Deep Generative Models (ADGM) および Skip Deep Generative Models (SDGM) を提案し、補助潜在変数を用いて変分後方分布をより表現力豊かにし、エンドツーエンドの訓練を可能にし、MNIST、SVHN、NORB における最先端の半教師付き結果を達成する。

ABSTRACT

Deep generative models parameterized by neural networks have recently achieved state-of-the-art performance in unsupervised and semi-supervised learning. We extend deep generative models with auxiliary variables which improves the variational approximation. The auxiliary variables leave the generative model unchanged but make the variational distribution more expressive. Inspired by the structure of the auxiliary variable we also propose a model with two stochastic layers and skip connections. Our findings suggest that more expressive and properly specified deep generative models converge faster with better results. We show state-of-the-art performance within semi-supervised learning on MNIST, SVHN and NORB datasets.

研究の動機と目的

• 補助変数を用いて深層生成モデルを拡張し、変分近似を改善する。
• 補助変数が半教師付き学習の収束を速め、性能を向上させることを実証する。
• スキップ接続を備えた2層確率モデル（SDGM）を導入し、標準ベンチマークで評価する。

提案手法

• p(x,z,a)=p(a|x,z)p(x,z) となるように a という補助潜在変数を p(x,z,a) に導入し、a による周辺化に対してモデルを不変に保つ。
• a を組み込んだ変分下界を導出し、q(a|x) と q(z|a,x) がよりリッチな後方分布を形成できるようにする（AVAE/ADGM フレームワーク）。
• クラス潜在変数 y を追加し、q(y|a,x) および pθ(a|z,y,x), pθ(x|z,y) を導入して半教師付き学習へ拡張する。
• 推論モデル qφ(a|x) qφ(y|a,x) qφ(z|a,y,x を定義し、逆伝搬のために再パラメータ化を用いる。
• スキップ接続を用いた2層生成モデルを作るために矢印を反転させ、Skip Deep Generative Model (SDGM) を提案する。
• α 重みをもつ生成的項と識別的項を調和させた結合目的関数を用いて Adam でエンドツーエンド訓練する。
• toy 分布、MNIST、SVHN、NORB で評価し、AVAE/ADGM/SDGM をベースライン VAE や半教師付き手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルの変分分布における補助変数は、複雑な後方分布をより良く近似できるか？
• RQ2 ADGM と SDGM は標準ベンチマークで収束速度と半教師付き分類精度を改善するか？
• RQ3 補助変数アプローチは MNIST、SVHN、NORB において他の半教師付き手法（VAT、Ladder、M2）と比較してどう性能を示すか？

主な発見

方法	MNIST (100 ラベル付き)	MNIST (1000 ラベル付き)	SVHN (1000 ラベル付き)	NORB (1000 ラベル付き)
M1+TSVM	11.82% (±0.25)	-	-	-
M1+M2	3.33% (±0.14)	-	-	-
VAT	2.12%	-	24.63%	-
Ladder Network	1.06% (±0.37)	-	-	-
Auxiliary Deep Generative Model (ADGM)	0.96% (±0.02)	-	22.86%	10.06% (±0.05)
Skip Deep Generative Model (SDGM)	1.32% (±0.07)	-	16.61% (±0.24)	9.40% (±0.04)

• ADGM と SDGM は MNIST、SVHN、NORB において最先端の半教師付き性能を達成する。
• 100 個のラベル付き例を用いた MNIST で、ADGM は 0.96% エラー（±0.02）、SDGM は 1.32%（±0.07）に達し、いくつかのベースラインと競合するかそれ以上の結果を示す。
• SVHN では、ADGM が 22.86% エラー、SDGM が 16.61% エラーを示し、VAT を上回り、状況によって Ladder と同等。
• NORB では、ADGM が 10.06%（±0.05）、SDGM が 9.40%（±0.04）を達成し、ガウス入力に対しては SDGM が一般に ADGM より安定している。
• 玩具実験は、補助変数がガウス分布を超える多峰性/後方分布のモデリングを可能にし、変分下界を改善することを示す。
• 合成半教師付きタスクで SDGM は ADGM より早く収束し、データマニフォールドの分離がより明確であることを示す。