[論文レビュー] Unsupervised Few-shot Learning via Distribution Shift-based Augmentation

Tiexin Qin, Wenbin Li+2 more|arXiv (Cornell University)|Apr 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 14

ひとこと要約

本論文では、サポート集合とクエリ集合間の分布多様性を分布シフトに基づくデータ拡張によって明示的に高めることで、モデルのロバスト性を向上させる、新しい教師なし少数 shot ラーニングフレームワーク ULDA を提案する。サポート集合とクエリ集合に別々に多様な拡張を適用することにより、ULDA はラベル付きの補助データセットを一切使用せずに、Omniglot および miniImageNet で最先端の性能を達成する。

ABSTRACT

Few-shot learning aims to learn a new concept when only a few training examples are available, which has been extensively explored in recent years. However, most of the current works heavily rely on a large-scale labeled auxiliary set to train their models in an episodic-training paradigm. Such a kind of supervised setting basically limits the widespread use of few-shot learning algorithms. Instead, in this paper, we develop a novel framework called Unsupervised Few-shot Learning via Distribution Shift-based Data Augmentation (ULDA), which pays attention to the distribution diversity inside each constructed pretext few-shot task when using data augmentation. Importantly, we highlight the value and importance of the distribution diversity in the augmentation-based pretext few-shot tasks, which can effectively alleviate the overfitting problem and make the few-shot model learn more robust feature representations. In ULDA, we systemically investigate the effects of different augmentation techniques and propose to strengthen the distribution diversity (or difference) between the query set and support set in each few-shot task, by augmenting these two sets diversely (i.e., distribution shifting). In this way, even incorporated with simple augmentation techniques (e.g., random crop, color jittering, or rotation), our ULDA can produce a significant improvement. In the experiments, few-shot models learned by ULDA can achieve superior generalization performance and obtain state-of-the-art results in a variety of established few-shot learning tasks on Omniglot and miniImageNet. The source code is available in this https URL.

研究の動機と目的

• 既存の少数 shot ラーニング手法が大規模なラベル付き補助データセットに強く依存するという制限を解消すること。
• 少数 shot ラーニングにおけるデータ拡張における分布多様性の役割を調査すること。
• 制御された分布シフトを用いて過学習を低減し、一般化性能を向上させる教師なし少数 shot ラーニングフレームワークを開発すること。
• 戦略的な分布多様性を用いることで、単純な拡張技術が強力な性能を発揮できることを実証すること。

提案手法

• フレームワークは、サポート集合とクエリ集合を独立に拡張することで分布シフトを誘発する事前学習タスクを構築する。
• ランダムクロップ、カラージッタリング、回転などの標準的な拡張技術を、サポート集合とクエリ集合に異なるポリシーで適用する。
• 拡張されたサポート分布とクエリ分布の統計的乖離を高めることで、特徴表現学習を向上させる。
• ラベル付き補助データを用いたエピソード学習を回避することで、真に教師なしの設定を実現する。
• 異なる拡張戦略が分布シフトおよびモデル一般化に与える影響を体系的に評価する。
• 最終的なモデルは、訓練中に制御された分布シフトを通じて過学習を最小限に抑えることで、ロバストな特徴を学習する。

実験結果

リサーチクエスチョン

• RQ1 サポート集合とクエリ集合間の分布多様性が少数 shot ラーニングのパフォーマンスに与える影響は何か？
• RQ2 分布シフトを明示的に促進することで、単純な拡張技術が強力な性能を発揮できるか？
• RQ3 大規模なラベル付き補助データセットに依存せずに、教師なし少数 shot ラーニングをどの程度向上できるか？
• RQ4 サポート集合とクエリ集合間の分布シフトを最大化するために、データ拡張をどの戦略で適用すべきか？
• RQ5 一般化性能およびロバスト性の観点から、分布シフトに基づく拡張は標準的な拡張と比べてどのように異なるか？

主な発見

• ULDA は、ラベル付き補助データを一切使用せずに、Omniglot および miniImageNet ベンチマークで最先端のパフォーマンスを達成する。
• 訓練中に制御された分布シフトを用いることで、過学習を低減し、一般化性能を顕著に向上させる。
• ランダムクロップやカラージッタリングといった基本的な拡張技術でさえ、サポート集合とクエリ集合に多様に適用することで、顕著な性能向上を達成する。
• 体系的なアブレーションにより、サポート集合とクエリ集合間の分布多様性を高めることで、よりロバストな特徴学習が実現されることを示した。
• フレームワークは、拡張における分布シフトが、教師なし少数 shot ラーニングにおけるモデルのロバスト性とパフォーマンス向上の鍵要因であることを示した。
• ソースコードは公開されており、再現性および教師なし少数 shot ラーニング分野におけるさらなる研究を可能にしている。