[論文レビュー] Deep Meta-Learning: Learning to Learn in the Concept Space

Fengwei Zhou, Bin Wu+1 more|arXiv (Cornell University)|Feb 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 105

ひとこと要約

この論文は Deep Meta-Learning (DEML) を導入し、概念空間でのメタ学習を、概念生成器、メタ-learner、概念識別器を共同訓練することで学習させ、複数のメタ-learnerにわたる few-shot 画像認識を改善します。

ABSTRACT

Few-shot learning remains challenging for meta-learning that learns a learning algorithm (meta-learner) from many related tasks. In this work, we argue that this is due to the lack of a good representation for meta-learning, and propose deep meta-learning to integrate the representation power of deep learning into meta-learning. The framework is composed of three modules, a concept generator, a meta-learner, and a concept discriminator, which are learned jointly. The concept generator, e.g. a deep residual net, extracts a representation for each instance that captures its high-level concept, on which the meta-learner performs few-shot learning, and the concept discriminator recognizes the concepts. By learning to learn in the concept space rather than in the complicated instance space, deep meta-learning can substantially improve vanilla meta-learning, which is demonstrated on various few-shot image recognition problems. For example, on 5-way-1-shot image recognition on CIFAR-100 and CUB-200, it improves Matching Nets from 50.53% and 56.53% to 58.18% and 63.47%, improves MAML from 49.28% and 50.45% to 56.65% and 64.63%, and improves Meta-SGD from 53.83% and 53.34% to 61.62% and 66.95%, respectively.

研究の動機と目的

• Instance 空間でのメタ-learning が few-shot タスクで苦戦する理由を動機づけ、概念空間での学習を提案する。
• 三部構成のフレームワーク（概念生成器、メタ-learner、概念識別器）をエンドツーエンドで訓練する。
• 複数のデータセットと複数のメタ-learner で少数ショットの性能を向上させる。

提案手法

• 三部構成の DEML フレームワークを定義する：G（概念生成器）、M（メタ-learner）、D（概念識別器）。
• タスクおよび外部データに対して、メタ-learning ロスと概念識別ロスを共同最適化する。
• Matching Nets、MAML、Meta-SGD をメタ-learnerとして用いた具体化を提供する。
• G を ResNet-50、D を小型ネットワークとし、M を概念空間での few-shot 学習を行うよう適用する。
• 概念空間でのメタ-learning ロス L_T と概念識別ロス L_(x,y) を組み合わせたジョイント目的関数を提示する。
• MiniImagenet、Caltech-256、CIFAR-100、CUB-200 における 5-way-1-shot および 5-way-5-shot 設定で経験的な利得を示す。

実験結果

リサーチクエスチョン

• RQ1 概念生成器を介して概念空間で学習することは、従来のインスタンス空間のメタ-learning より few-shot のメタ-learning を改善できるか。
• RQ2 概念識別器と共同訓練することで、外部知識とタスク非依存のメタ学習のバランスを取り、より良い表現を生み出せるか。
• RQ3 DEML 増強のメタ-learner（Matching Nets、MAML、Meta-SGD）は、標準の few-shot ベンチマークで元のモデルと比較してどうなるか。
• RQ4 アプローチによる改善は、単にネットワークを深くしたりデータセットを大きくしただけによるものか、それとも概念空間での学習によるものか。

主な発見

• DEML は、3つのベース学習者（Matching Nets、MAML、Meta-SGD）全てにおいて、元のメタ学習を一貫して改善する。
• 5-way-1-shot および 5-way-5-shot のタスクで、DEML+Meta-SGD は MiniImagenet で 58.49%/71.28%、Caltech-256 で 62.25%/79.52%、CIFAR-100 で 61.62%/77.94%、CUB-200 で 66.95%/77.11% を達成し、従来の方法を上回る。
• DEML+Matching Nets は、全データセットで元の Matching Nets より改善を示す（例：MiniImagenet 5-way-1-shot で 55.84% 対 43.56%）。
• DEML+MAML は、元の MAML より大幅な改善を示す（例：MiniImagenet 5-way-1-shot で 53.71% 対 48.70%）。
• DEML は、単にネットワークを大きくしたりデータセットを拡張する以上の利得を示し、より深いアーキテクチャだけではなく概念空間での学習によるメリットを示す。