[論文レビュー] Infinite Variational Autoencoder for Semi-Supervised Learning

Ehsan Abbasnejad, Anthony Dick+1 more|arXiv (Cornell University)|Nov 23, 2016

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 5

ひとこと要約

本論文は、データの複雑さに応じて自己符号化器の数を動的に調整できるディリクレ過程混合を用いた無限変分オートエンコーダ（iVAE）を提案する。このアプローチにより、半教師あり学習における適応的容量が実現され、ラベルなしデータの生成的モデリングが向上し、少数のラベル付き例での分類性能が向上する。ベイジアン非パラメトリック手法により混合係数を統合的に扱うことで、CIFAR-10およびModelNet10において、標準的なVAEや判別的ベースラインを上回る性能を発揮する。

ABSTRACT

This paper presents an infinite variational autoencoder (VAE) whose capacity adapts to suit the input data. This is achieved using a mixture model where the mixing coefficients are modeled by a Dirichlet process, allowing us to integrate over the coefficients when performing inference. Critically, this then allows us to automatically vary the number of autoencoders in the mixture based on the data. Experiments show the flexibility of our method, particularly for semi-supervised learning, where only a small number of training samples are available.

研究の動機と目的

• 半教師あり学習における固定容量の変分オートエンコーダの限界、すなわちモデルの複雑さを事前に決定する必要があることに対処すること。
• データの複雑さに応じて自己符号化器の数を増やすことのできるベイジアン非パラメトリックアプローチを開発すること。
• 豊富なラベルなしデータで訓練された柔軟な生成的モデルを活用し、少数のラベル付き例で精緻化することで、半教師あり分類を改善すること。
• 無限VAEによるエキスパート混合モデルが、単一モデルのVAEよりも一般化性能および判別的性能に優れていることを示すこと。

提案手法

• 無限混合の変分オートエンコーダの混合係数をディリクレ過程でモデル化し、非パラメトリックな容量調整を可能にする。
• ギブスサンプリングと変分推論の組み合わせを用いて、無限混合構造における効率的な事後分布推論を実行する。
• 生成的モデル（例：ResNet）と統合し、最終層でパラメータを共有することで一般化性能を向上させる、無限VAEを生成的コンponentとして用いる。
• 2次元画像（CIFAR-10）および3次元形状（ModelNet10）の両方のタスクに適用し、データ拡張と共有表現学習を活用する。
• データ拡張（例：ランダムクロッピング、パディング）を用いた確率的最適化スキームで混合モデルを訓練し、ロバストネスを向上させる。
• 無限混合からの期待される潜在表現を、後続の分類器（例：SVM）の入力として用い、判別的性能の向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン非パラメトリックアプローチは、ラベルなしデータの固有の複雑さに応じて、自己符号化器の数を動的に適応させることができるか？
• RQ2 少数のラベル付き例しか利用できない状況下で、無限混合VAEは半教師あり分類精度を向上させるか？
• RQ3 低ショット学習のシナリオにおいて、無限VAEの性能は単一VAEや標準的な判別的モデルと比べてどのように異なるか？
• RQ4 生成的混合モデルと判別的モデルとの間でのパラメータ共有が、予測精度をどの程度向上させるか？

主な発見

• CIFAR-10では、無限VAEとResNetを組み合わせたモデルが、特にラベル付きデータが少ない状況で最先端の性能を達成し、標準VAEやベースライン分類器を上回った。
• 100個のラベル付き例しか利用しない状況で、無限VAE混合モデルはCIFAR-10で8.1%のテスト誤差を達成した。これは単一VAEの10.2%誤差よりも顕著に低い。
• ModelNet10では、無限VAEに基づく潜在表現がSVMで85.68%の精度を達成した。一方、単一VAEでは82.71%であった。これは、より優れた判別的品質を示している。
• すべての訓練データが利用可能な状況では、モデル間の性能が収束した。これは、無限混合モデルの利点が特にデータが少ない状況で顕著であることを確認している。
• 無限混合からの期待される潜在表現は、単一VAEのものよりも顕著に判別的であり、2次元および3次元の両方のデータセットでSVMの精度が向上した。
• ラベル付きデータが少ない状況では、混合モデル内の各エキスパートが異なるデータ的側面に特化しており、多様性による一般化の向上が実現された。