[論文レビュー] Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation

Antreas Antoniou, Amos Storkey|arXiv (Cornell University)|Feb 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 36

ひとこと要約

ラベルなしデータからランダムなラベルを一部に割り当てて少数ショットタスクを生成し、データ拡張を通じてターゲットセットを作成する unsupervised な方法 AAL を紹介する。ファインチューニングなしで標準のメタ学習フレームワークとともに使用でき、少数ショットタスクで良好な性能を発揮する。

ABSTRACT

The field of few-shot learning has been laboriously explored in the supervised setting, where per-class labels are available. On the other hand, the unsupervised few-shot learning setting, where no labels of any kind are required, has seen little investigation. We propose a method, named Assume, Augment and Learn or AAL, for generating few-shot tasks using unlabeled data. We randomly label a random subset of images from an unlabeled dataset to generate a support set. Then by applying data augmentation on the support set's images, and reusing the support set's labels, we obtain a target set. The resulting few-shot tasks can be used to train any standard meta-learning framework. Once trained, such a model, can be directly applied on small real-labeled datasets without any changes or fine-tuning required. In our experiments, the learned models achieve good generalization performance in a variety of established few-shot learning tasks on Omniglot and Mini-Imagenet.

研究の動機と目的

• ラベルが利用できない状況での教師なし少数ショット学習を動機づける。
• 未ラベルデータからサポートセットとターゲットセットを作成するタスク生成戦略を提案する。
• ファインチューニングなしでこれらの教師なしタスクで訓練できる既存のメタ学習フレームワークを有効にする。
• 一般化を評価するために標準の少数ショットベンチマークでアプローチを評価する。
• 実データの転移を最大化するデータ拡張戦略を検討する。

提案手法

• ランダムにサンプリングした未ラベルデータ点に対してランダムにラベルを割り当ててサポートセットを作成する。
• サポートセットにデータ拡張を適用してラベルを固定したまま対応するターゲットセットを生成する。
• 標準的なメタ学習モデル（MAML と Prototypical Networks）を生成された教師なしタスクで訓練する。
• ファインチューニングなしで実データ付き少数ショットタスクで訓練済みモデルを評価する。
• さまざまなデータ拡張技術を探索・除外して、ターゲットセットに有効な拡張を決定する。
• 安定性と一般化を改善するために MAML++ フレームワーク内でアプローチを適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータからの教師なしタスク生成はラベルなしのままで効果的な少数ショットメタ学習を可能にするか？
• RQ2 どのデータ拡張戦略が学習表現を実世界のラベル付き少数ショットタスクへ最もよく転移させるか？
• RQ3 教師なし AAL アプローチは MAML と Prototypical Networks と組み合わせた場合どうなるか？
• RQ4 拡張が Omniglot と Mini-Imagenet ベンチマークへの一般化に与える影響は？

主な発見

• AAL アプローチはファインチューニングなしで実データ付きのタスクへ一般化する能力を持つ。
• 未ラベルデータから生成された教師なしタスクは標準的なメタ学習フレームワーク（MAML と Prototypical Networks）と共に使用できる。
• データ拡張は意味のあるターゲットセットを作成する上で重要な役割を果たし、一般化性能に大きく影響し得る。
• 実験では、MAML++ と特定の拡張を用いた AAL は Omniglot と Mini-Imagenet のタスクで、監視付きベースラインおよび同時期の教師なし手法と比較して競争力のある結果を達成した。
• 大規模なラベル付きデータセットから自動拡張を利用した拡張を取り入れる場合、Omniglot タスクで少なくとも1つの同時期の教師なしベースラインより良い性能を示す一方で、トレードオフがある可能性がある。