[論文レビュー] A Closer Look at Few-shot Classification

Wei-Yu Chen, Yen‐Cheng Liu+3 more|arXiv (Cornell University)|Apr 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 188

ひとこと要約

この論文は代表的な少数-shot分類法を統一的かつ公正に比較し、より深いバックボーンが手法間のギャップを縮小すること、強力な Baseline++ ベースラインが存在すること、そしてクロスドメイン評価が現在のメタ学習アプローチの限界を示すことを明らかにしている。

ABSTRACT

Few-shot classification aims to learn a classifier to recognize unseen classes during training with limited labeled examples. While significant progress has been made, the growing complexity of network designs, meta-learning algorithms, and differences in implementation details make a fair comparison difficult. In this paper, we present 1) a consistent comparative analysis of several representative few-shot classification algorithms, with results showing that deeper backbones significantly reduce the performance differences among methods on datasets with limited domain differences, 2) a modified baseline method that surprisingly achieves competitive performance when compared with the state-of-the-art on both the \miniI and the CUB datasets, and 3) a new experimental setting for evaluating the cross-domain generalization ability for few-shot classification algorithms. Our results reveal that reducing intra-class variation is an important factor when the feature backbone is shallow, but not as critical when using deeper backbones. In a realistic cross-domain evaluation setting, we show that a baseline method with a standard fine-tuning practice compares favorably against other state-of-the-art few-shot learning algorithms.

研究の動機と目的

• 少数ショット分類法のための統一的で公正なベンチマークを提供する。
• バックボーンの深さが手法間の性能差に影響を与えるかを評価する。
• 標準およびクロスド-domain設定で、単純なベースラインが最先端のメタ学習と同等になり得るかを評価する。
• クロスドメイン一般化とドメインシフトが少数ショット学習に与える影響を探る。

提案手法

• Baseline と Baseline++ を、固定特徴抽出器と学習可能な新規クラス分類器を用いた単純な転移学習ベースラインとして確立する。
• コサイン距離ベースの分類器（Baseline++）を採用してクラス内変動を低減する。
• 標準化された設定の下で代表的なメタ学習法（MatchingNet、ProtoNet、RelationNet、MAML）と比較する。
• データセット（mini-ImageNet、CUB）および 1-/5-shot シナリオでの性能を比較する。
• ドメインシフト効果を調べるためにクロスドメイン設定として mini-ImageNet から CUB へを導入する。
• 公開されたソースコードを提供し、再現性のある比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統一されたバックボーンと訓練設定で評価したとき、異なる少数ショット分類法はどのように性能を示すか。
• RQ2 より深いバックボーンは手法間の性能ギャップを縮小するか。
• RQ3 単純な距離ベースの Baseline++ アプローチは標準ベンチマークでメタ学習法と同等になり得るか。
• RQ4 基盤クラスと新規クラス間のドメインシフトは少数ショット学習の性能にどう影響するか。
• RQ5 クロスド-domain 条件下での追加適応ステップ（微調整）はメタ学習法にどの程度影響を与えるか。

主な発見

方法	1ショット (CUB)	5ショット (CUB)	1ショット (mini-ImageNet)	5ショット (mini-ImageNet)
Baseline	47.12 ±0.74	64.16 ±0.71	42.11 ±0.71	62.53 ±0.69
Baseline++	60.53 ±0.83	79.34 ±0.61	48.24 ±0.75	66.43 ±0.63
MatchingNet	60.52 ±0.88	75.29 ±0.75	48.14 ±0.78	63.48 ±0.66
ProtoNet	50.46 ±0.88	76.39 ±0.64	44.42 ±0.84	64.24 ±0.72
MAML	54.73 ±0.97	75.75 ±0.76	46.47 ±0.82	62.71 ±0.71
RelationNet	62.34 ±0.94	77.84 ±0.68	49.31 ±0.85	66.60 ±0.69

• Baseline++ 距離ベースの分類器は一貫して Baseline を改善し、Conv-4 バックボーンを用いた mini-ImageNet および CUB で最先端のメタ学習法と競合する。
• より深いバックボーンは手法間の性能ギャップを劇的に縮小し、特に CUB データセットで顕著であり、Baseline または Baseline++ をメタラーナーと競合させることもある。
• クロスド-domain 評価（mini-ImageNet → CUB）では Baseline が全てのメタ学習法を上回り、ドメインシフト状況における現在のメタ学習の限界を浮き彫りにする。
• バックボーンの深さを高めることは一般に ProtoNet および他の手法に利益をもたらすが、データセットとショット設定によって結果は異なる。
• さらなる適応（ファインチューニング）は、特に MatchingNet と MAML のクロスド-domain 設定で ProtoNet よりも影響が大きい。