[論文レビュー] One-Shot Learning using Mixture of Variational Autoencoders: a Generalization Learning approach

Decebal Constantin Mocanu, Elena Mocanu|arXiv (Cornell University)|Apr 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 10

ひとこと要約

この論文は、ゼロ知識とラベルなしデータから一般化を学ぶために混合変分オートエンコーダー（VAE）を用いる新規のワンショット学習手法MoVAEを提案する。MNIST、Fashion-MNIST、Omniglotで最先端の性能を達成し、5ショット設定では最大43%の正確度を記録。Omniglotにおける1623クラス1ショット分類タスクでは27.8%の正確度を達成（ランダム推測の463倍）。

ABSTRACT

Deep learning, even if it is very successful nowadays, traditionally needs very large amounts of labeled data to perform excellent on the classification task. In an attempt to solve this problem, the one-shot learning paradigm, which makes use of just one labeled sample per class and prior knowledge, becomes increasingly important. In this paper, we propose a new one-shot learning method, dubbed MoVAE (Mixture of Variational AutoEncoders), to perform classification. Complementary to prior studies, MoVAE represents a shift of paradigm in comparison with the usual one-shot learning methods, as it does not use any prior knowledge. Instead, it starts from zero knowledge and one labeled sample per class. Afterward, by using unlabeled data and the generalization learning concept (in a way, more as humans do), it is capable to gradually improve by itself its performance. Even more, if there are no unlabeled data available MoVAE can still perform well in one-shot learning classification. We demonstrate empirically the efficiency of our proposed approach on three datasets, i.e. the handwritten digits (MNIST), fashion products (Fashion-MNIST), and handwritten characters (Omniglot), showing that MoVAE outperforms state-of-the-art one-shot learning algorithms.

研究の動機と目的

• 既存のワンショット学習手法が事前知識や大量のラベルなしデータに依存するという制限を克服すること。
• 各クラスに対して1つのラベル付きサンプルとゼロ知識から出発し、ラベルなしデータを活用して一般化を学ぶ手法を開発すること。
• 複数のVAEを用いた集合知的アプローチが、既存の最先端ワンショット学習モデルを上回ることを示すこと。
• Omniglotにおける1623クラス1ショット分類を含む、多様で挑戦的なベンチマークでの性能を評価すること。
• ラベル付きデータが乏しく、事前知識が得られない実世界の応用分野においてもMoVAEが実用的であることを確立すること。

提案手法

• MoVAEは、各クラス固有の変分オートエンコーダー（VAE）の混合であり、各VAEは1つのラベル付きサンプルからそのクラスの潜在分布を学習する。
• 一般化学習を用い、事前知識を必要とせず、ラベルなしデータを活用することで段階的に性能を向上させる。
• 分類は、各クラス固有のVAEにおけるテストサンプルの尤度を計算し、最もスコアの高いクラスを選択することで行う。
• メトリクス学習、シアンプスネットワーク、メモリ拡張ネットワークを一切使用せず、従来のワンショット学習手法と根本的に異なる。
• 各VAEに対して変分下界（ELBO）の最適化を、確率的勾配降下法を用いてエンドツーエンドで訓練する。
• ラベルなしデータが利用可能でない場合でも、各クラスの1つのラベル付きサンプルとVAEの生成モデル能力に依存することで、堅牢性を示す。

実験結果

リサーチクエスチョン

• RQ1 事前知識や大規模な事前学習に依存せずに、ワンショット学習モデルが高い性能を達成できるか？
• RQ2 1つのラベル付き例から各クラスの一般化を学ぶために、複数のVAEを用いた集合知的アプローチはどれほど効果的か？
• RQ3 MoVAEは、Omniglotにおける1623クラス1ショット分類のような極めて複雑なワンショットタスクでどの程度の性能を示すか？
• RQ4 ラベルなしデータが存在しない低データ環境において、MoVAEはkNNや他の最先端手法と比べてどの程度優れているか？
• RQ5 ファッション製品分類のような実世界のシナリオにおいて、MoVAEは最小限の監視情報で効果的に一般化できるか？

主な発見

• MoVAEは1ショットMNISTベンチマークで72.1%の正確度を達成し、最先端手法を25ポイント以上上回った。
• より複雑なFashion-MNISTデータセットでは、1つのラベル付きサンプルのみで60%を超える正確度を達成し、実世界の状況でも強い一般化能力を示した。
• Omniglotにおける新規の1623クラス1ショット分類タスクでは、MoVAEが27.8%の正確度を達成した。これはランダム推測（0.06%）の463倍であり、kNNの9倍に相当する。
• Omniglotにおける5ショット学習では、正確度が43.2%に上昇し、限られたラベル付きデータでも良好なスケーラビリティを示した。
• kNNと比較して、すべての設定でMoVAEが顕著に優れていた。特に1623クラスタスクではkNNがたった3.1%の正確度にとどまったが、MoVAEは27.8%を達成した。
• 計算コストは効率的で、標準GPUで1623クラスOmniglotタスクを約4時間で訓練可能であり、推論時間においてもkNNを上回った。