[論文レビュー] Learning from Small Data Through Sampling an Implicit Conditional Generative Latent Optimization Model.

Idan Azuri, Daphna Weinshall|arXiv (Cornell University)|Mar 31, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 2

ひとこと要約

この論文では、ラベル付きデータが1クラスあたりたった5〜10例しか利用できない状況でも、ラベルなしデータを必要とせず、多様で新規の画像を合成できる条件付き生成的潜在最適化モデル、GLICOを提案する。潜在空間を球面補間によってサンプリングし、訓練済みの生成器を用いて新しいサンプルを生成することで、CIFAR-10、CIFAR-100、CUB-200といった小データベンチマークにおける画像分類性能が向上し、最先端の手法を上回る。

ABSTRACT

We revisit the long-standing problem of learning from a small sample, to which end we propose a novel method called GLICO (Generative Latent Implicit Conditional Optimization). GLICO learns a mapping from the training examples to a latent space and a generator that generates images from vectors in the latent space. Unlike most recent works, which rely on access to large amounts of unlabeled data, GLICO does not require access to any additional data other than the small set of labeled points. In fact, GLICO learns to synthesize completely new samples for every class using as little as 5 or 10 examples per class, with as few as 10 such classes without imposing any prior. GLICO is then used to augment the small training set while training a classifier on the small sample. To this end, our proposed method samples the learned latent space using spherical interpolation, and generates new examples using the trained generator. Empirical results show that the new sampled set is diverse enough, leading to improvement in image classification in comparison with the state of the art, when trained on small samples obtained from CIFAR-10, CIFAR-100, and CUB-200.

研究の動機と目的

• 1クラスあたりのラベル付き例が非常に少ない状況において、頑健な分類器を訓練する課題に対処すること。
• 外部のラベルなしデータに依存せずに、現実的で多様なサンプルを生成する手法を開発すること。
• 1クラスあたりの少数のラベル付き例のみを用いて、低ショット学習の状況での有効なデータ拡張を可能にすること。
• データから分離された潜在空間への条件付きマッピングを学習する生成モデルを設計し、効率的なサンプル合成を実現すること。
• 極度のデータ不足下でも、CIFAR-10、CIFAR-100、CUB-200といった標準ベンチマークで分類精度を向上させること。

提案手法

• GLICOは、条件付き生成モデルを用いて入力データから潜在空間へのマッピングを学習し、分離された表現学習を可能にする。
• 生成器は潜在ベクトルから画像を生成するように訓練されており、生成器はクラスラベルに条件付けられている。
• 既存の潜在ベクトルの間を補間するため、潜在空間で球面補間が適用され、新たな多様な潜在ベクトルが生成される。
• これらの補間された潜在ベクトルは、訓練済みの生成器を用いてデコードされ、新しいトレーニングサンプルが合成される。
• 合成されたサンプルは、分類器のトレーニング中に元の小規模なトレーニングセットを拡張するために使用される。
• この手法は、ラベルなしデータにアクセスしないで動作し、トレーニングおよび生成の両方において、小規模なラベル付きデータセットにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが1クラスあたり5〜10例しかなく、外部データを一切使用しない状況でも、生成モデルが多様で現実的なサンプルを効果的に合成できるか？
• RQ2 潜在空間における球面補間によるサンプリングが、低ショット学習におけるデータ拡張をどのように改善するか？
• RQ3 GLICOは、最先端の手法と比較して、小データベンチマークにおける分類精度をどの程度向上できるか？
• RQ4 トレーニング中にラベルなしデータが欠落していることが、分類器の一般化性能を制限するのか、あるいは向上させるのか？
• RQ5 生成されたサンプルの多様性と、下流の分類性能の間にはどのような相関関係があるか？

主な発見

• GLICOは、1クラスあたり5〜10例のラベル付きデータのみを用いて、CIFAR-10、CIFAR-100、CUB-200で最先端の性能を達成した。
• 潜在空間の補間による多様で現実的なサンプルの生成により、画像分類精度が顕著に向上した。
• ラベルなしデータがトレーニング中に欠落しているが、性能に悪影響を及ぼさず、むしろ分布バイアスを避けることで一般化性能が向上した。
• 潜在空間における球面補間により、意味的に整合性のある補間が得られ、高品質なサンプル生成に寄与した。
• GLICOが生成する拡張されたトレーニングセットは、ベースラインのデータ拡張技術と比較して、より頑健な分類器を生成した。
• 実験的結果から、合成されたサンプルが多様であり、低データ環境下での一般化性能向上に効果的であることが確認された。