[論文レビュー] Data Augmentation for Meta-Learning

Renkun Ni, Micah Goldblum+3 more|arXiv (Cornell University)|Oct 14, 2020

Domain Adaptation and Few-Shot Learning被引用数 3

ひとこと要約

本論文は、メタラーニングパイプラインに画像レベルおよびクラスレベルの拡張を統合するメタ特化されたデータ拡張技術を提案し、少サンプル分類性能を向上させる。サポートセットとクエリセットのサンプリング時に戦略的に拡張を適用することで、標準ベンチマーク上でのメタラーナーの精度が顕著に向上し、拡張が単なるデータ拡張ツールではなく、タスクおよびクラスの多様性にとって重要な要素であることが示された。

ABSTRACT

Conventional image classifiers are trained by randomly sampling mini-batches of images. To achieve state-of-the-art performance, practitioners use sophisticated data augmentation schemes to expand the amount of training data available for sampling. In contrast, meta-learning algorithms sample support data, query data, and tasks on each training step. In this complex sampling scenario, data augmentation can be used not only to expand the number of images available per class, but also to generate entirely new classes/tasks. We systematically dissect the meta-learning pipeline and investigate the distinct ways in which data augmentation can be integrated at both the image and class levels. Our proposed meta-specific data augmentation significantly improves the performance of meta-learners on few-shot classification benchmarks.

研究の動機と目的

• メタラーニングにおける限られた非多様なサポートセットの課題に対処するため、拡張を用いて有効なトレーニングデータを拡張すること。
• データ拡張をメタラーニングトレーニングパイプラインにおいて、画像レベルおよびクラスレベルの両方で体系的に統合する方法を調査すること。
• 拡張データを用いて多様なタスクおよびサポートセットを生成することで、少サンプル分類性能を向上させること。
• 標準的な画像レベルの拡張をはるかに超える、メタラーニングにおけるデータ拡張の原理的フレームワークを確立すること。

提案手法

• 本手法は、各メタトレーニングステップにおいて、サポート画像およびクエリ画像に画像レベルの拡張を適用することで、データの多様性を向上させる。
• 既存のクラスの拡張版を用いて新しい合成クラスを生成することで、クラスレベルの拡張を統合し、タスク分布を拡張する。
• アプローチは、メタラーニングのエピソードトレーニングパラダイムに整合した形で、各エピソードにおいて動的に拡張画像および合成クラスをサンプリングする。
• 拡張ポリシーは、サポートセットおよびクエリセットに対して選択的に適用され、多様性とタスクの現実性のバランスを取るためにハイパーパrameterが調整される。
• フレームワークは、ランダムクロップ、カラージッタ、ミックスアップなどのさまざまな拡張戦略をメタラーニング設定に適応してサポートする。
• 本手法は、miniImageNet や tieredImageNet などの標準ベンチマークを用いた標準的な少サンプル分類メタラーニング設定で評価される。

実験結果

リサーチクエスチョン

• RQ1 画像レベルでのデータ拡張の統合は、少サンプル分類におけるメタラーナーの一般化性能にどのように影響するか？
• RQ2 クラスレベルの拡張は、意味的かつ多様なタスクを生成でき、メタラーナーの性能向上に寄与するか？
• RQ3 メタラーニングのエピソードトレーニングループ内でのデータ拡張の最適な適用方法は何か？
• RQ4 標準的なトレーニングで用いられるデータ拡張と比較して、メタ特化された拡張はどのように異なるか？

主な発見

• 提案されたメタ特化されたデータ拡張は、miniImageNet および tieredImageNet ベンチマーク上での少サンプル分類精度を顕著に向上させる。
• クラスレベルの拡張は、画像レベルの拡張のみよりも顕著な性能向上をもたらし、タスクの多様性が極めて重要であることを示している。
• 本手法は、データ空間およびタスク空間の両方を効果的に拡張することで、標準的な少サンプル学習ベンチマークで最先端の結果を達成している。
• メタトレーニング中に戦略的に拡張を適用することで、標準的な拡張と比較してより頑健で一般化性の高いモデルが得られる。