[論文レビュー] Unsupervised Meta-Learning For Few-Shot Image Classification

Siavash Khodadadeh, Ladislau Bölöni+1 more|arXiv (Cornell University)|Nov 28, 2018

Domain Adaptation and Few-Shot Learning被引用数 65

ひとこと要約

UMTRA は unlabeled data からランダムサンプリングと拡張を用いて synthetic tasks を作成することで、モデルに依存しないメタ学習を行い、ラベルが supervised MAML よりはるかに少ないラベルで強い few-shot 結果を達成します。

ABSTRACT

Few-shot or one-shot learning of classifiers requires a significant inductive bias towards the type of task to be learned. One way to acquire this is by meta-learning on tasks similar to the target task. In this paper, we propose UMTRA, an algorithm that performs unsupervised, model-agnostic meta-learning for classification tasks. The meta-learning step of UMTRA is performed on a flat collection of unlabeled images. While we assume that these images can be grouped into a diverse set of classes and are relevant to the target task, no explicit information about the classes or any labels are needed. UMTRA uses random sampling and augmentation to create synthetic training tasks for meta-learning phase. Labels are only needed at the final target task learning step, and they can be as little as one sample per class. On the Omniglot and Mini-Imagenet few-shot learning benchmarks, UMTRA outperforms every tested approach based on unsupervised learning of representations, while alternating for the best performance with the recent CACTUs algorithm. Compared to supervised model-agnostic meta-learning approaches, UMTRA trades off some classification accuracy for a reduction in the required labels of several orders of magnitude.

研究の動機と目的

• ラベル付きタスクデータを持たずに unlabeled データセットを活用して few-shot 学習を動機づける。
• 合成タスクを生成するモデルに依存しないメタ学習アプローチを開発する。
• 最小限の最終タスクラベルで one-shot および few-shot 分類を可能にする。
• メタ学習設定における一般化誤差と検証損失の関係を理論的に関連づける。

提案手法

• N 個の unlabeled な例をサンプリングし、人工的なラベル 1..N を付与して仮想的な N-way タスクを形成する。
• 合成タスクに対して内部ループの更新を勾配降下法で行い、適応パラメータを得る。
• トレーニングサンプルにドメイン適切な拡張 A を適用して検証セットを作成し、拡張サンプルがクラス同一性を保持することを保証する。
• 適応パラメータを用いて拡張された検証セット上の損失を最小化することでメタパラメータを更新する（外部ループ）。
• メタトレーニングではワンショット（K=1）を使用するが、ターゲットタスク（テスト）では K>1 を許容する。
• メタ学習の文脈における一般化誤差と逆伝播された検証損失の関係を論じる。

実験結果

リサーチクエスチョン

• RQ1 真のラベルなしデータを用いて、真のラベルなしデータから rapid-learning 分類器をメタトレーニングできるか。
• RQ2 unlabeled データから合成タスクを構築してメタ学習を効果的に正則化できるか。
• RQ3 拡張戦略が無監視メタ学習の質に与える影響はどの程度か。
• RQ4 無監視メタ学習が labeling effort に関して supervised model-agnostic meta-learning (MAML) の性能にどれだけ近づけるか。

主な発見

• UMTRA は Omniglot および Mini-Imagenet で無監視表現学習ベースラインを上回る。
• Omniglot の 5-way 1-shot では、UMTRA は 5 ラベルで 83.80%、監視付き MAML は ラベル付きデータで 98.7%。
• Omniglot の 5-way 5-shot では、UMTRA は 25 ラベルで 95.43%、監視付き MAML は 24025 ラベルで 98.83%。
• Mini-Imagenet では、UMTRA は無監視表現ベースラインを上回り、一部設定で CACTUs と競合する一方、監視付きメタ学習は精度が高いままである。
• UMTRA の利得の大半は拡張だけでなく、拡張あり・なしの設定を比較したアブレーションで示されるように、メタ学習プロセスによるものである。