[論文レビュー] Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning

Felix Berkhahn, Richard Keys+3 more|arXiv (Cornell University)|Aug 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 6

ひとこと要約

本論文は、エンコーダーに分類ヘッドを追加し、潜在コードと組み合わせることで、教師あり、半教師あり、教師なし学習を一貫して統合する統一された半教師付き変分オートエンコーダー（VAE）を提案する。モデルは、未ラベルデータとスパースラベルを同時に活用することで、表現学習と分類精度の両方を向上させ、MNIST、Fashion-MNIST、UCI-HARデータセットにおいて、標準の教師ありおよび教師なしベースラインを上回る性能を発揮する。

ABSTRACT

We present a new flavor of Variational Autoencoder (VAE) that interpolates seamlessly between unsupervised, semi-supervised and fully supervised learning domains. We show that unlabeled datapoints not only boost unsupervised tasks, but also the classification performance. Vice versa, every label not only improves classification, but also unsupervised tasks. The proposed architecture is simple: A classification layer is connected to the topmost encoder layer, and then combined with the resampled latent layer for the decoder. The usual evidence lower bound (ELBO) loss is supplemented with a supervised loss target on this classification layer that is only applied for labeled datapoints. This simplicity allows for extending any existing VAE model to our proposed semi-supervised framework with minimal effort. In the context of classification, we found that this approach even outperforms a direct supervised setup.

研究の動機と目的

• 教師あり、半教師あり、教師なし学習を統合する統一された深層学習フレームワークを構築すること。
• スパースラベルと豊富な未ラベルデータが、表現品質と予測性能を同時にどのように向上させるかを調査すること。
• VAE再構成損失が分類器を正則化し、標準の教師あり学習を上回る分類精度をもたらすことを示すこと。
• ラベルの可用性に応じて変化する条件下での異常検知と表現の分離性（disentanglement）におけるモデルの性能を評価すること。
• わずかな数のラベルでも、教師なし表現学習と再構成の正確性が顕著に向上することを示すこと。

提案手法

• 最上位のエンコーダー層に分類ヘッドを追加し、クラス確率をサンプリングされた潜在コードと連結してデコーダーの入力とする。
• 損失関数は、標準のVAEの下界（ELBO）と、ラベル付きデータにのみ適用される教師あり交差エントロピー損失を組み合わせる。
• ラベル付きサンプル数で損失を正規化することで、トレーニングの安定性を確保し、ラベルの不均衡を防ぐ。
• 一括の最適化目的関数によりエンドツーエンドで学習し、0％から100％までのラベル可用性の全範囲でスムーズに適応可能である。
• 既存の任意のVAEに最小限の変更で統合可能であり、半教師あり学習への即時統合が可能である。
• 分類、異常検知、betaVAEの分離性評価のための標準ベンチマークを用いて、MNIST、Fashion-MNIST、UCI-HARでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 最小限のアーキテクチャ変更で、教師あり、半教師あり、完全教師あり学習の間を滑らかに補間できる統一されたVAEフレームワークは有効か？
• RQ2 スパースラベルの導入により、分類精度と教師なし再構成性能の両方が同時に向上するか？
• RQ3 VAE再構成損失が分類器を正則化することで、標準の教師あり学習に比べてより優れた表現が得られる程度はどの程度か？
• RQ4 ラベルの乏しさが、betaVAEの分離性スコアで測定される表現品質に与える影響はいかほどか？
• RQ5 わずかな数のラベル付きサンプルでも、異常検知性能が向上するか？

主な発見

• VAE再構成損失の正則化効果により、すべてのデータがラベル付きである場合でさえ、標準の教師あり学習を上回る性能を示した。MNIST、Fashion-MNIST、UCI-HARで同様の結果が得られた。
• MNISTで100件のラベルのみを用いた場合、betaVAEの分離性スコアは76±1.6を達成し、1,000件に増やすと92±0.6に向上した。これは、表現学習の向上を示している。
• Fashion-MNISTでは、3,000件のラベルで95.1％の半教師あり分類精度を達成し、ラベルが乏しい状況下でも優れた一般化性能を示した。
• UCI-HARでは、わずかなラベル付きサンプルでも異常検知性能が顕著に向上した。ラベルの可用性に伴い、誤検知が減少し、検知の頑健性が向上した。
• ラベルが一切ない場合、標準VAEと同等の教師なし性能を維持しながら、ラベルの可用性が増すに従い一貫した性能向上を示した。
• 統一フレームワークにより、0％～100％のラベル可用性の全範囲でスムーズな適応が可能であり、分類と再構成の両タスクに相互に恩恵が及ぶ。