[論文レビュー] Defining Benchmarks for Continual Few-Shot Learning

Antreas Antoniou, Massimiliano Patacchiola+2 more|arXiv (Cornell University)|Apr 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 27

ひとこと要約

本論文は、継続的少数-shot学習のための新しいベンチマークフレームワークを導入し、200クラスあたり200サンプル（合計20万件）のコンパクトな64×64バージョンであるSlimageNet64を提案する。複数の継続的学習設定において最先端の少数-shotモデルを評価した結果、埋め込みベースと勾配ベースの手法を組み合わせたハイブリッドモデルが、一般化性能において単一アプローチのモデルを100–200%上回ることが判明した。特に動的クラス設定において顕著である。

ABSTRACT

Both few-shot and continual learning have seen substantial progress in the last years due to the introduction of proper benchmarks. That being said, the field has still to frame a suite of benchmarks for the highly desirable setting of continual few-shot learning, where the learner is presented a number of few-shot tasks, one after the other, and then asked to perform well on a validation set stemming from all previously seen tasks. Continual few-shot learning has a small computational footprint and is thus an excellent setting for efficient investigation and experimentation. In this paper we first define a theoretical framework for continual few-shot learning, taking into account recent literature, then we propose a range of flexible benchmarks that unify the evaluation criteria and allows exploring the problem from multiple perspectives. As part of the benchmark, we introduce a compact variant of ImageNet, called SlimageNet64, which retains all original 1000 classes but only contains 200 instances of each one (a total of 200K data-points) downscaled to 64 x 64 pixels. We provide baselines for the proposed benchmarks using a number of popular few-shot learning algorithms, as a result, exposing previously unknown strengths and weaknesses of those algorithms in continual and data-limited settings.

研究の動機と目的

• 継続的少数-shot学習のための標準化されたベンチマークの欠如に応えること。これは、低データの少数-shot学習と順次タスクストリーミングを組み合わせた設定である。
• エピソード学習と継続的学習のダイナミクスを統一する理論的フレームワークを形式化すること。
• 継続的少数-shotモデルの体系的評価に適した最小限で効率的かつメモリに優しいデータセット（SlimageNet64）を提供すること。
• 既存の少数-shot学習アルゴリズムが、継続的でデータ制限があり、メモリ制約のある条件下で示す、これまで未知の強みと弱みを明らかにすること。
• ミニバッチ確率的訓練環境における崩壊的忘却とサンプル効率の体系的分析を可能にすること。

提案手法

• モデルが順次サポートセットから1つの少数-shotタスクずつ学習する新しいベンチマーク設定を提案。トレーニング中は過去または将来のタスクにアクセスできない。
• SlimageNet64を導入：ImageNetの64×64、全1,000クラスを保持する20万点のサブセットで、クラスあたり200サンプル。メモリ使用量はわずか9 GB。
• 4つの評価設定（A：新規サンプル、B：新規クラス、C：上書きあり新規クラス、D：新規クラスと新規サンプル）を設計。タスクシフトの変動に応じた一般化性能をテストする。
• タスク固有の知識を格納する共有メモリバンクを採用。これにより、統一されたターゲットセットでの推論時に過去の情報をモデルがアクセス可能になる。
• 標準的な少数-shot学習モデル（例：ProtoNets、MAML++、SCA）をベースラインとして採用。4つの設定すべてで性能を評価。
• ATM（アクティベーションからメモリへの移動）とMAC（乗算加算）コストを測定し、モデル間の計算負荷の比較に用いる。

実験結果

リサーチクエスチョン

• RQ1 既存の少数-shot学習モデルは、継続的で順次的かつデータ制限のある学習条件下でどのように性能を発揮するか？
• RQ2 埋め込みベース、勾配ベース、ハイブリッドの少数-shot学習モデルの相対的性能は、継続的少数-shot学習においてどうなるか？
• RQ3 データセットの選択（例：SlimageNet64 対 Omniglot）は、継続的少数-shot学習におけるモデルの一般化性能と効率にどのように影響するか？
• RQ4 メモリ制約とタスクシフト（例：新規クラス、新規サンプル）は、モデルの性能と忘却にどの程度影響を与えるか？
• RQ5 低性能版と高性能版のMAML++の間で、計算コストのトレードオフはどの程度顕著になるか？

主な発見

• 埋め込みベースと勾配ベースの最適化を組み合わせたハイブリッドモデル（例：High-End MAML++、SCA）は、一般化精度において一貫して単一手法のモデルを100–200%上回る。
• 新規クラスと新規サンプルの設定（D）では、埋め込みベースの手法が勾配ベースの手法を大きく上回り、新規クラス情報の保持能力に優れていることが示された。
• ProtoNetsは、SlimageNet64において、新規クラスと上書きありの設定（C）でさえもLow-End MAML++を常に上回った。これは、このデータセットではクラス保持能力が分離性の向上よりも重要であることを示唆している。
• ProtoNetsは最も計算効率が良く、ATMおよびMACコストがMAML++の変種と比べて2桁低い。
• サポートサンプル数が増えるにつれて、Low-End MAML++はHigh-Endバージョンよりも著しくコストが高くなる。これは、特徴のフラットニングと線形層の設計に起因する。
• 新規サンプル設定（A）では、SlimageNet64において埋め込みベースと勾配ベースの手法が同程度の性能を示した。これはOmniglotとは対照的で、勾配ベース手法が支配的である。これは、データセット依存の性能シフトを示している。