[論文レビュー] Dynamic Few-Shot Visual Learning without Forgetting

Spyros Gidaris, Nikos Komodakis|arXiv (Cornell University)|Apr 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 72

ひとこと要約

この論文は、テスト時に少数の例から新規カテゴリを迅速に学習しつつ、基盤カテゴリの精度を保持する動的なFew-shot学習システムを提案している。コサイン類似度分類器と注意機構を用いたFew-shot重み生成器により実現。Mini-ImageNetと Bharath & Girshick のFew-shotベンチマークで最先端の結果を達成。

ABSTRACT

The human visual system has the remarkably ability to be able to effortlessly learn novel concepts from only a few examples. Mimicking the same behavior on machine learning vision systems is an interesting and very challenging research problem with many practical advantages on real world vision applications. In this context, the goal of our work is to devise a few-shot visual learning system that during test time it will be able to efficiently learn novel categories from only a few training data while at the same time it will not forget the initial categories on which it was trained (here called base categories). To achieve that goal we propose (a) to extend an object recognition system with an attention based few-shot classification weight generator, and (b) to redesign the classifier of a ConvNet model as the cosine similarity function between feature representations and classification weight vectors. The latter, apart from unifying the recognition of both novel and base categories, it also leads to feature representations that generalize better on "unseen" categories. We extensively evaluate our approach on Mini-ImageNet where we manage to improve the prior state-of-the-art on few-shot recognition (i.e., we achieve 56.20% and 73.00% on the 1-shot and 5-shot settings respectively) while at the same time we do not sacrifice any accuracy on the base categories, which is a characteristic that most prior approaches lack. Finally, we apply our approach on the recently introduced few-shot benchmark of Bharath and Girshick [4] where we also achieve state-of-the-art results. The code and models of our paper will be published on: https://github.com/gidariss/FewShotWithoutForgetting

研究の動機と目的

• 基盤カテゴリを忘れないように dynamic few-shot learning の問題を動機づけ、正式に定式化する。
• 注意機構を介して過去の視覚知識を活用するfew-shot分類重み生成器を開発する。
• 分類器をコサイン類似度として再定式化し、基盤カテゴリと新規カテゴリの認識を統一する。
• Mini-ImageNetと最新のfew-shotベンチマークで評価し、最先端の結果を達成する。

提案手法

• コサイン類似度ベースのConvNet分類器を導入し、基盤と新規カテゴリを統一する。
• 特徴量の平均化と基盤クラス重みに対する注意を用いるFew-shot Classification 重み生成器を実装する。
• 基盤カテゴリベクトルから新規重みを構成するための注意機構を組み込む。
• 2段階で訓練する: (i) 特徴抽出器と基盤重みを学習; (ii) 特徴抽出器を固定しながら重み生成器を訓練。
• 最後の特徴層の後のReLUを削除して z が負の値を取れるようにし、コサインベースの分類を改善する。
• コサイン類似度と学習可能なスケールを持つ注意カーネルを使い、基盤カテゴリ重みのメモリを照会する。

実験結果

リサーチクエスチョン

• RQ1 Few-shotモデルは、テスト時に新規カテゴリを動的に取り込みつつ、基盤カテゴリの性能を低下さずに実現できるか。
• RQ2 Few-shot設定で、コサイン類似度分類器はドット積分類器より未知のカテゴリへの一般化性能が高いか。
• RQ3 注意機構ベースの重み生成器は基盤カテゴリベクトルから新規分類重みを効果的に構成できるか。
• RQ4 基盤と新規カテゴリの認識を統一することで、標準的なfew-shotベンチマーク全体の性能が向上するか。

主な発見

Model	Novel (5-shot)	Base (5-shot)	Both (5-shot)	Novel (1-shot)	Base (1-shot)	Both (1-shot)
Matching-Nets [26]	68.87	-	-	55.53	-	-
Prototypical-Nets [23]	72.67	62.10	32.70	54.44	52.35	26.68
Cosine Classifier	72.83	70.68	51.89	54.55	70.68	39.17
Cosine Classifier & Avg. Weight Gen	74.66	70.92	60.26	55.33	70.45	48.56
Cosine Classifier & Att. Weight Gen	74.92	70.88	60.50	58.55	70.73	50.50

• On Mini-ImageNet, the Cosine Classifier with Attention Weight Gen achieves 74.92% (5-shot novel) and 70.88% (base) with 60.50% (both) in 1-shot/5-shot evaluation settings on the validation set, outperforming prior methods.
• The Cosine Classifier with Avg. Weight Gen also attains strong results (74.66% novel, 70.92% base, 60.26% both in 5-shot; 55.33% novel, 70.45% base, 48.56% both in 1-shot).
• A cosine-similarity based classifier yields more compact, discriminative feature clusters for unseen categories compared to dot-product baselines.
• When evaluated on the Mini-ImageNet test set, the proposed models with various backbones (e.g., ResNet, Conv4 variants) achieve competitive to superior performance across 5-shot and 1-shot tasks, maintaining strong base-category accuracy.
• The proposed approach achieves state-of-the-art results on the Bharath and Girshick few-shot benchmark.