[論文レビュー] A Novel Variational Autoencoder with Applications to Generative Modelling, Classification, and Ordinal Regression

Joel Jaskari, Jyri Kivinen|arXiv (Cornell University)|Dec 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 4

ひとこと要約

本論文は、潜在変数に階層的事前分布を導入し、順序データのモデリングを改善するための専用の順序性維持ユニットを備えた新規の変分オートエンコーダを提案する。生成モデリング、名目分類、順序回帰の各分野で競争力ある性能を達成しており、特にラベル付きデータの割合が変化する条件下でも、標準的なソフトマックスよりも低い誤差率を示す。

ABSTRACT

We develop a novel probabilistic generative model based on the variational autoencoder approach. Notable aspects of our architecture are: a novel way of specifying the latent variables prior, and the introduction of an ordinality enforcing unit. We describe how to do supervised, unsupervised and semi-supervised learning, and nominal and ordinal classification, with the model. We analyze generative properties of the approach, and the classification effectiveness under nominal and ordinal classification, using two benchmark datasets. Our results show that our model can achieve comparable results with relevant baselines in both of the classification tasks.

研究の動機と目的

• 統一されたアーキテクチャ内で教師なし、半教師あり、教師あり学習を効果的に行える変分オートエンコーダの開発。
• 分類タスクにおける順序クラス関係をよりよく捉えるために、新規の順序性維持ユニットの導入。
• クラス固有の潜在分布を別個の事前分布成分としてモデル化することで、その解釈可能性の向上。
• ベンチマークデータセットを用いた生成モデリング、名目分類、順序回帰におけるモデル性能の評価。
• 既存モデルと比較して計算複雑性が低減された状態で、競争力ある結果を達成できるかの検証。

提案手法

• クラスラベル $ y $ が潜在変数 $ \mathbf{z} $ の平均に直接影響を与える階層的事前分布構造を採用し、クラス固有の事前分布を可能にする。
• 認識ネットワーク $ q_\phi(y, \mathbf{z} \mid \mathbf{x}) $ は $ q_\phi(y \mid \mathbf{x}) $ と $ q_\phi(\mathbf{z} \mid \mathbf{x}, y) $ に因子分解され、クラスと潜在変数の両方の同時推論が可能になる。
• 順序分類タスクにおける性能向上を目的に、潜在空間が順序的に整列するように設計された順序性維持ユニットを導入。
• 再パrameterization勾配を用いた変分下界（ELBO）を採用し、生成ネットワークと認識ネットワークの両方を勾配ベース最適化で端末から端末へ訓練可能にする。
• 認識ネットワークによる近似事後分布推論を活用することで、無作為ラベルデータを活用した半教師あり学習が可能になる。
• 分類器ヘッドには、ReLU/tanh非線形性を有する1層隠れ層のMLPを用い、ソフトマックス版と順序版の両方で同一アーキテクチャを採用。

実験結果

リサーチクエスチョン

• RQ1 最小限のアーキテクチャ変更で、教師なし、半教師あり、教師あり学習を統一的に処理できるVAEアーキテクチャは有効に機能するか？
• RQ2 順序性維持ユニットの導入により、標準的なソフトマックスと比較して順序データセットにおける分類精度が向上するか？
• RQ3 潜在空間における学習済みクラス固有の事前分布は、解釈可能性と分離品質の面でどのように比較されるか？
• RQ4 限られたラベル付きデータを有する半教師あり設定下で、特に順序分類タスクにおけるモデルの性能はいかがなものか？
• RQ5 類似タスクにおける既存の最先端モデルと比較して、計算複雑性を低減しつつも、競争力ある結果を達成できるか？

主な発見

• すべてのラベル付きデータ割合において、順序分類器は標準的なソフトマックス分類器よりも低い平均テスト誤差を達成した。特に30%のラベル付きデータ割合で、平均誤差は0.189（ソフトマックス：0.203）であり、0.019の低下を示した。
• ラベル付きデータ割合が0.25のとき、順序モデルの平均誤差は0.198（標準偏差0.026）であり、ソフトマックスベースライン（0.217 ± 0.029）を上回った。
• 1次元潜在空間の可視化結果から、順序分類器は隣接クラス間の重複が少なく、より明確で順序整列されたクラス分布を生成していることがわかった。
• ソフトマックス分類器では、クラス2と3の分布が平坦で識別性に欠け、クラス1は極めて集中したピークを示していた。
• 生成モデリングおよび名目分類において、既存モデルと同等の性能を示した一方で、クラス固有の事前分布のおかげで解釈性が向上した。
• 階層的事前分布構造により、クラス固有の特徴の分離がより良好に実現され、半教師あり学習におけるモデルの解釈性と有効性が向上した。