[論文レビュー] Hybrid VAE: Improving Deep Generative Models using Partial Observations

Sergey Tulyakov, Andrew Fitzgibbon+1 more|arXiv (Cornell University)|Nov 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 5

ひとこと要約

本稿では、ラベル付きデータとラベルなし部分観測データを統合的に学習することで、サンプル品質と尤度を向上させる深層生成モデル、Hybrid VAE (H-VAE) を提案する。変分推論と判別的後方分布近似を組み合わせることで、H-VAE はラベルなしデータをデータ駆動型正則化として活用し、完全な教師ありモデルと同等の性能を、はるかに少ないラベル付き例で達成する。

ABSTRACT

Deep neural network models trained on large labeled datasets are the state-of-the-art in a large variety of computer vision tasks. In many applications, however, labeled data is expensive to obtain or requires a time consuming manual annotation process. In contrast, unlabeled data is often abundant and available in large quantities. We present a principled framework to capitalize on unlabeled data by training deep generative models on both labeled and unlabeled data. We show that such a combination is beneficial because the unlabeled data acts as a data-driven form of regularization, allowing generative models trained on few labeled samples to reach the performance of fully-supervised generative models trained on much larger datasets. We call our method Hybrid VAE (H-VAE) as it contains both the generative and the discriminative parts. We validate H-VAE on three large-scale datasets of different modalities: two face datasets: (MultiPIE, CelebA) and a hand pose dataset (NYU Hand Pose). Our qualitative visualizations further support improvements achieved by using partial observations.

研究の動機と目的

• 完全なアノテーションを取得することが高コストで時間がかかるため、ラベル付きデータが限られる深層生成モデリングにおける課題に対処すること。
• 豊富なラベルなしデータを活用して生成モデルの性能を向上させるスケーラブルなフレームワークを構築し、完全な教師あり学習を必要としないこと。
• 生成的・判別的コンponentを変分オートエンコーダーに統合し、部分観測データからの共同学習を可能にすること。
• ラベルなしデータが低データ環境下で尤度とサンプル品質を向上させる有効な正則化として機能することを実証すること。

提案手法

• 共有潜在変数 $ \mathbf{z} $ における無限混合モデルを用いた深層VAEとして、$ p_{\theta}(\mathbf{d}, \mathbf{h}) $ の結合分布を定式化する。ここで $ \mathbf{d} $ は観測値（例：画像）であり、$ \mathbf{h} $ は連続的ラベル（例：顔の特徴点）である。
• 観測データの周辺尤度 $ p_{\theta}(\mathbf{d}) = \int p_{\theta}(\mathbf{d}, \mathbf{h}) \, d\mathbf{h} $ の下界を変分推論により導出し、ラベル付き $ (\mathbf{d}, \mathbf{h}) $ およびラベルなし $ \mathbf{d} $ の両方のデータで学習可能にする。
• 推論性能とモデル容量を向上させるために、変分近似の一部として補助的判別ネットワーク $ q(\mathbf{h}|\mathbf{d}) $ を導入する。
• ラベル付きデータの完全尤度とラベルなしデータの周辺尤度の合計である組み合わせ目的関数を最適化し、バックプロパゲーションを用いる。
• 再パラメータライゼーション・トリックを用いて、深層ニューラルネットワークのパラメータ $ \theta $ および推論ネットワークのパラメータの端末から端末への学習を可能にする。
• アモアタイズド変分推論によるスケーラブルな推論を可能にするために、画像と連続的ラベルのマルチモーダルデータにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況で、ラベルなしデータを効果的に活用することで、深層生成モデルの性能を向上させることができるか？
• RQ2 部分観測データと完全なアノテーションから同時に学習可能なハイブリッド生成的・判別的モデルをどのように構築できるか？
• RQ3 ラベルなしデータをデータ駆動型正則化として組み込むことで、深層生成モデルにおけるサンプル品質と対数尤度が向上するか？
• RQ4 原理的で整合性のある変分推論フレームワークを、混合監視を用いた画像と連続的ラベルの共同モデリングに拡張できるか？

主な発見

• H-VAE は、はるかに少ないラベル付き例で学習させた場合でも、完全に教師ありのVAEと同等のテスト尤度を達成しており、ラベルなしデータが正則化として有効であることを示している。
• 定性的な結果から、H-VAE はラベル付きデータのみで学習した標準VAEよりも、画像および対応するラベル（例：顔の特徴点）の両方において、より一貫性があり現実的なサンプルを生成していることがわかる。
• H-VAE は、MultiPIE、CelebA、NYU Hand Pose の3つの大規模データセットにおいて、尤度と視覚的忠実度の両面で一貫した向上を示しており、サンプル品質が向上している。
• ラベルなしデータの導入により、モデルがより強固で分離可能なデータ多様体の表現を学習する能力が向上し、一般化性能が向上している。
• ラベル付きデータの割合が非常に小さい状況下でも、H-VAE は標準VAEや他の半教師ありベースラインを上回る生成性能を示している。
• 判別的コンponent $ q(\mathbf{h}|\mathbf{d}) $ は、特に低データ環境下で推論の正確性を向上させ、学習の安定化を図っている。