[論文レビュー] SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning

Yan Wang, Wei‐Lun Chao+2 more|arXiv (Cornell University)|Nov 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 233

ひとこと要約

この論文は、単純な特徴変換（平均中心化とL2正規化）と最近傍分類器を組み合わせると、メタ学習なしで標準的なfew-shotベンチマークで最先端または競争的な結果を達成できることを示している。

ABSTRACT

Few-shot learners aim to recognize new object classes based on a small number of labeled training examples. To prevent overfitting, state-of-the-art few-shot learners use meta-learning on convolutional-network features and perform classification using a nearest-neighbor classifier. This paper studies the accuracy of nearest-neighbor baselines without meta-learning. Surprisingly, we find simple feature transformations suffice to obtain competitive few-shot learning accuracies. For example, we find that a nearest-neighbor classifier used in combination with mean-subtraction and L2-normalization outperforms prior results in three out of five settings on the miniImageNet dataset.

研究の動機と目的

• メタ学習に依存しない few-shot 学習の強力なベースラインを動機づける。
• few-shot 設定における最近傍分類への単純な特徴変換の影響を調べる。
• 複数のバックボーンアーキテクチャとデータセットに跨って単純な変換を評価し、頑健なベースラインを確立する。

提案手法

• ベースクラス上で特徴抽出器 f_theta を訓練し、線形分類器 W によるクロスエントロピーを最小化することで D_base を用いる。
• テストサンプル上の特徴空間で最近傍分類を行う：ユークリッド距離を使用。
• 最近傍の前に特徴変換を適用する： (a) 未正規化 (UN)、(b) L2正規化 (L2N)、(c) 中心化L2正規化 (CL2N)。
• ワンショットおよびファイブショットの C-way タスクを使用；マルチショット設定では新規クラスごとに最近傍セントロイド（クラスセントロイド）を用いる。
• 複数のアーキテクチャ（Conv-4, ResNet-10/18, WRN, DenseNet, MobileNet）とデータセット（miniImageNet, tiered ImageNet, CIFAR-100）で評価する。
• SimpleShot を競合的なベースラインとして確立するために、META-Learning ベースのベースラインの広いセットと比較する。

実験結果

リサーチクエスチョン

• RQ1 単純な特徴変換を備えた最近傍分類器は、メタ学習なしでワンショットおよびファイブショット設定で競争力のある精度を達成できるか？
• RQ2 平均中心化とL2正規化は、異なるバックボーンとデータセットで最近傍の性能にどのような影響を与えるか？
• RQ3 miniImageNet 以外の tiered ImageNet や CIFAR-100 にも観察された利点は一般化するか？
• RQ4 SimpleShot は将来の few-shot 学習研究の有力な競争ベースラインとなり得るか？

主な発見

アプローチ	ネットワーク	ワンショット	ファイブショット
SimpleShot (UN)	Conv-4	33.17 ± 0.17	63.25 ± 0.17
SimpleShot (L2N)	Conv-4	48.08 ± 0.18	66.49 ± 0.17
SimpleShot (CL2N)	Conv-4	49.69 ± 0.19	66.92 ± 0.17
SimpleShot (UN)	ResNet-10	56.06 ± 0.20	78.63 ± 0.15
SimpleShot (L2N)	ResNet-10	60.16 ± 0.20	79.94 ± 0.14
SimpleShot (CL2N)	ResNet-10	62.85 ± 0.20	80.02 ± 0.14
SimpleShot (UN)	ResNet-18	56.06 ± 0.20	78.63 ± 0.15
SimpleShot (L2N)	ResNet-18	60.16 ± 0.20	79.94 ± 0.14
SimpleShot (CL2N)	ResNet-18	62.85 ± 0.20	80.02 ± 0.14

• L2正規化は、未正規化の特徴に対して複数のデータセットで少なくとも約3%の精度向上を一貫してもたらす。
• センタリング（平均値差し引き）とL2正規化を組み合わせたCL2N は追加で約1–3%の改善をもたらす。
• SimpleShot はL2NまたはCL2Nを使用すると、複数のバックボーンとデータセットで多くの最新のメタ学習手法と比較して競争力があるか、または優れている。
• miniImageNet では、CL2N を用いた SimpleShot のバリアントは、いくつかのアーキテクチャ（例：ResNet-10/18、DenseNet、WRN など）でしばしばトップの性能を達成する。
• 特徴変換は訓練後に適用しても ProtoNet を向上させ、バニラ1NN を超える利用価値があることを示唆している。