[論文レビュー] Deep Meta-Learning: Learning to Learn in the Concept Space

Fengwei Zhou, Bin Wu+1 more|arXiv (Cornell University)|Feb 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 105

ひとこと要約

この論文は Deep Meta-Learning (DEML) を導入し、概念空間でのメタ学習を、概念生成器、メタ-learner、概念識別器を共同訓練することで学習させ、複数のメタ-learnerにわたる few-shot 画像認識を改善します。

ABSTRACT

Few-shot learning remains challenging for meta-learning that learns a learning algorithm (meta-learner) from many related tasks. In this work, we argue that this is due to the lack of a good representation for meta-learning, and propose deep meta-learning to integrate the representation power of deep learning into meta-learning. The framework is composed of three modules, a concept generator, a meta-learner, and a concept discriminator, which are learned jointly. The concept generator, e.g. a deep residual net, extracts a representation for each instance that captures its high-level concept, on which the meta-learner performs few-shot learning, and the concept discriminator recognizes the concepts. By learning to learn in the concept space rather than in the complicated instance space, deep meta-learning can substantially improve vanilla meta-learning, which is demonstrated on various few-shot image recognition problems. For example, on 5-way-1-shot image recognition on CIFAR-100 and CUB-200, it improves Matching Nets from 50.53% and 56.53% to 58.18% and 63.47%, improves MAML from 49.28% and 50.45% to 56.65% and 64.63%, and improves Meta-SGD from 53.83% and 53.34% to 61.62% and 66.95%, respectively.

研究の動機と目的

• Instance 空間でのメタ-learning が few-shot タスクで苦戦する理由を動機づけ、概念空間での学習を提案する。
• 三部構成のフレームワーク（概念生成器、メタ-learner、概念識別器）をエンドツーエンドで訓練する。
• 複数のデータセットと複数のメタ-learner で少数ショットの性能を向上させる。

提案手法

• 三部構成の DEML フレームワークを定義する：G（概念生成器）、M（メタ-learner）、D（概念識別器）。
• タスクおよび外部データに対して、メタ-learning ロスと概念識別ロスを共同最適化する。
• Matching Nets、MAML、Meta-SGD をメタ-learnerとして用いた具体化を提供する。
• G を ResNet-50、D を小型ネットワークとし、M を概念空間での few-shot 学習を行うよう適用する。
• 概念空間でのメタ-learning ロス L_T と概念識別ロス L_(x,y) を組み合わせたジョイント目的関数を提示する。
• MiniImagenet、Caltech-256、CIFAR-100、CUB-200 における 5-way-1-shot および 5-way-5-shot 設定で経験的な利得を示す。

実験結果

リサーチクエスチョン

• RQ1 概念生成器を介して概念空間で学習することは、従来のインスタンス空間のメタ-learning より few-shot のメタ-learning を改善できるか。
• RQ2 概念識別器と共同訓練することで、外部知識とタスク非依存のメタ学習のバランスを取り、より良い表現を生み出せるか。
• RQ3 DEML 増強のメタ-learner（Matching Nets、MAML、Meta-SGD）は、標準の few-shot ベンチマークで元のモデルと比較してどうなるか。
• RQ4 アプローチによる改善は、単にネットワークを深くしたりデータセットを大きくしただけによるものか、それとも概念空間での学習によるものか。

主な発見

Method	MiniImagenet 5-way-1-shot	MiniImagenet 5-way-5-shot	Caltech-256 5-way-1-shot	Caltech-256 5-way-5-shot	CIFAR-100 5-way-1-shot	CIFAR-100 5-way-5-shot	CUB-200 5-way-1-shot	CUB-200 5-way-5-shot
Matching Nets	43.56 b1 0.84	55.31 b1 0.73	48.09 b1 0.83	57.45 b1 0.74	50.53 b1 0.87	60.30 b1 0.82	56.53 b1 0.99	63.54 b1 0.85
DEML+Matching Nets	55.84 b1 0.94	59.88 b1 0.73	52.97 b1 0.99	59.42 b1 0.75	58.18 b1 1.09	63.12 b1 0.85	63.47 b1 1.10	64.86 b1 0.87
MAML	48.70 b1 1.84	63.11 b1 0.92	45.59 b1 0.77	54.61 b1 0.73	49.28 b1 0.90	58.30 b1 0.80	50.45 b1 0.97	59.60 b1 0.84
DEML+MAML	53.71 b1 0.89	68.13 b1 0.77	56.81 b1 1.01	70.54 b1 0.73	56.65 b1 1.09	68.66 b1 0.85	64.63 b1 1.08	66.75 b1 0.89
Meta-SGD	50.47 b1 1.87	64.03 b1 0.94	48.65 b1 0.82	64.74 b1 0.75	53.83 b1 0.89	70.40 b1 0.74	53.34 b1 0.97	67.59 b1 0.82
DEML+Meta-SGD	58.49 b1 0.91	71.28 b1 0.69	62.25 b1 1.00	79.52 b1 0.63	61.62 b1 1.01	77.94 b1 0.74	66.95 b1 1.06	77.11 b1 0.78

• DEML は、3つのベース学習者（Matching Nets、MAML、Meta-SGD）全てにおいて、元のメタ学習を一貫して改善する。
• 5-way-1-shot および 5-way-5-shot のタスクで、DEML+Meta-SGD は MiniImagenet で 58.49%/71.28%、Caltech-256 で 62.25%/79.52%、CIFAR-100 で 61.62%/77.94%、CUB-200 で 66.95%/77.11% を達成し、従来の方法を上回る。
• DEML+Matching Nets は、全データセットで元の Matching Nets より改善を示す（例：MiniImagenet 5-way-1-shot で 55.84% 対 43.56%）。
• DEML+MAML は、元の MAML より大幅な改善を示す（例：MiniImagenet 5-way-1-shot で 53.71% 対 48.70%）。
• DEML は、単にネットワークを大きくしたりデータセットを拡張する以上の利得を示し、より深いアーキテクチャだけではなく概念空間での学習によるメリットを示す。