[論文レビュー] Self-Supervised Prototypical Transfer Learning for Few-Shot Classification

Carlos Medina, Arnout Devos+1 more|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning被引用数 27

ひとこと要約

この論文では、ラベルなし画像とその増幅画像を代表的な中心点の周囲にクラスタリングすることで、メトリクス埋め込みを事前学習する自己教師付きプロトタイプ転送手法であるProtoTransferを提案する。ミニImageNetにおいて、教師ありメタラーニング手法の最先端性能を達成し、エピソードベースのメタラーニングを用いない大規模な事前学習とパrametric微調整を可能にすることで、ラベルの数が桁違いに少ないにもかかわらず、教師あり手法と同等の結果を達成する。

ABSTRACT

Most approaches in few-shot learning rely on costly annotated data related to the goal task domain during (pre-)training. Recently, unsupervised meta-learning methods have exchanged the annotation requirement for a reduction in few-shot classification performance. Simultaneously, in settings with realistic domain shift, common transfer learning has been shown to outperform supervised meta-learning. Building on these insights and on advances in self-supervised learning, we propose a transfer learning approach which constructs a metric embedding that clusters unlabeled prototypical samples and their augmentations closely together. This pre-trained embedding is a starting point for few-shot classification by summarizing class clusters and fine-tuning. We demonstrate that our self-supervised prototypical transfer learning approach ProtoTransfer outperforms state-of-the-art unsupervised meta-learning methods on few-shot tasks from the mini-ImageNet dataset. In few-shot experiments with domain shift, our approach even has comparable performance to supervised methods, but requires orders of magnitude fewer labels.

研究の動機と目的

• 事前学習段階でのラベル依存を減らすことで、教師あり少サンプル学習の高コストなラベル付けを軽減すること。
• プロトタイプクラスタリングを用いた大規模自己教師付き事前学習により、教師なしメタラーニング手法の性能ギャップを克服すること。
• 標準的なメタラーニングアプローチの性能を低下させるドメインシフトが生じるクロスドメイン少サンプル設定において、効果的な転移学習を可能にすること。
• 非エピソード的で自己教師付き転移学習が、パrametric微調整と大規模ベースクラス事前学習を組み合わせることで、教師あり手法と同等の性能を達成できることを示すこと。
• エピソードベースのメタラーニングから分離された事前学習を可能にすることで、新規クラスへのスケーラブルかつ効率的な適応が可能な少サンプル学習の新パラダイムを確立すること。

提案手法

• 同じ画像の複数の増幅ビューを引き寄せる対照的損失を用いて、ニューラル埋め込みを自己教師付きで事前学習する。
• 推論時、サポート例の埋め込みの平均としてクラスプロトタイプを定義し、最近傍分類のためのプロトタイプネットワーク（ProtoNet）アプローチに従う。
• プロトタイプ損失と対照的学習を模倣したペアワイズ距離損失を用い、同じ画像の増幅ビューを元の画像埋め込みの周囲にクラスタリングする。
• 標準的な交差エントロピー最適化を用いて、少サンプルサポートセット上でネットワーク全体（または単一の最終層）のパrametric微調整を実行する。
• ラベルなしで、画像の増幅のみを用いて対照的学習のポジティブペアを生成する、大規模なベースクラスセットで学習する。
• サポートセットをクラスプロトタイプに要約し、コサイン類似度によるクエリ分類によって、事前学習済み埋め込みを少サンプル分類タスクに転送する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習にプロトタイプクラスタリングを用いることで、従来の教師なしメタラーニング手法を少サンプル分類において上回ることができるか？
• RQ2 大規模ベースクラス事前学習を用いた非エピソード的転移学習アプローチが、ドメインシフトが生じるクロスドメイン少サンプル設定において、エピソードベースメタラーニングを上回ることができるか？
• RQ3 自己教師付き事前学習を用いることで、完全に教師あり手法と同等の性能を維持しつつ、ラベルの必要性をどの程度低減できるか？
• RQ4 ベースクラスの規模とパrametric微調整の使用が、ドメインシフト下での少サンプル学習性能に与える影響はどの程度か？
• RQ5 自己教師付き事前学習段階で完全に教師なしで、自己教師付きプロトタイプ損失を用いて判別性の高い表現を学習できるか？

主な発見

• 5-way 1-shotおよび5-shot分類タスクにおいて、ミニImageNetで従来の最先端の教師なしメタラーニング手法を4%～8%上回る性能を達成した。
• ドメインシフトを伴うCDFSLベンチマークにおいて、事前学習段階でラベルを一切使用していないにもかかわらず、完全に教師あり手法と同等の性能を達成した。
• アブレーションスタディにより、エピソードベースメタラーニングで一般的に使用されるよりも多くのベースクラスを用いることで、少サンプル一般化性能が顕著に向上することが確認された。
• バックボーンネットワーク全体のパrametric微調整が、最終層の微調整のみよりも、クロスドメインタスクで教師あり性能に到達する上で不可欠であることが示された。
• Omniglotでも優れた結果を達成し、ImageNet風のデータセットにとどまらない一般化性能を示した。
• t-SNE可視化により、自己教師付き事前学習が埋め込み空間に明確に分離され、クラスに一貫性のあるクラスタを生成していることが確認され、プロトタイプクラスタリング目的の有効性が裏付けられた。