[論文レビュー] Few-Shot Image Classification via Contrastive Self-Supervised Learning

Jianyi Li, Guizhong Liu|arXiv (Cornell University)|Aug 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 4被引用数 10

ひとこと要約

本論文は、メタ学習に代えて対照的自己教師あり学習を用いて汎用的な特徴抽出器を事前学習する、新しい非教師あり少数ショット学習の枠組みCSSL-FSLを提案する。その後、グラフアグリゲーション、自己 distillation、多様体拡張を用いてタスク固有の分類器を訓練し、ラベル付きベースクラスやタスク固有のメタ学習を必要とせずに、多様な少数ショット設定で最先端の性能を達成する。

ABSTRACT

Most previous few-shot learning algorithms are based on meta-training with fake few-shot tasks as training samples, where large labeled base classes are required. The trained model is also limited by the type of tasks. In this paper we propose a new paradigm of unsupervised few-shot learning to repair the deficiencies. We solve the few-shot tasks in two phases: meta-training a transferable feature extractor via contrastive self-supervised learning and training a classifier using graph aggregation, self-distillation and manifold augmentation. Once meta-trained, the model can be used in any type of tasks with a task-dependent classifier training. Our method achieves state of-the-art performance in a variety of established few-shot tasks on the standard few-shot visual classification datasets, with an 8- 28% increase compared to the available unsupervised few-shot learning methods.

研究の動機と目的

• 既存の少数ショット学習手法がメタ学習に大量のラベル付きベースクラスを必要としているという制限を克服すること。
• メタ学習で訓練されたモデルが特定の N ワイ k ショットタスク設定に限定されるという制約を克服すること。
• 再訓練を必要とせず、多様な少数ショットタスクタイプに一般化可能な統一的かつ転送可能な特徴抽出器を開発すること。
• 事前学習段階ではラベルなしデータのみを、微調整段階では最小限の監督信号のみを用いて、高性能な少数ショット分類を実現すること。

提案手法

• 大規模なラベルなし画像セットを用いて対照的自己教師あり学習により特徴抽出器を事前学習し、従来のメタ学習に代えて偽の少数ショットタスクを用いる。
• 実際の少数ショットタスクにおけるサポート集合およびクエリ集合の両方から、事前学習済みバックボーンを用いて特徴を抽出する。
• タスク固有のグラフを適用して特徴をアグリゲートし、グラフ畳み込み演算を介してサポート特徴とクエリ特徴の間の相互作用を可能にする。
• 自己 distillation を用いて一般化性能を向上させるために、アグリゲートされたサポート特徴上で全結合分類器を訓練する。
• 複数の画像からの意味的特徴を組み合わせることで、多様体データ拡張を用いて新しい訓練サンプルを合成する。
• 2段階の訓練プロセスを用いて分類器を微調整する：まず拡張データで学習し、次に自己 distillation を用いて予測を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 対照的自己教師あり学習が、偽の少数ショットタスクを用いたメタ学習に代えて、汎用的な特徴抽出器を事前学習するのに有効であるか？
• RQ2 1つの事前学習済みモデルが再訓練を経ずに、複数の N ワイ k ショットタスク設定に効果的に一般化できるか？
• RQ3 自己 distillation と多様体拡張は、少数ショット分類精度の向上にどのように寄与するか？
• RQ4 ラベルなし事前学習が、大量のラベル付きベースクラスに依存する教師あり少数ショット手法と同等またはそれ以上の性能を達成できるか？

主な発見

• CSSL-FSL は miniImageNet で最先端の性能を達成し、非教師あり少数ショット学習手法の精度を 8–28% 向上させた。
• 5 ワイ 1 ショットおよび 5 ワイ 5 ショットタスクにおいて、大規模データセットで事前学習した場合、[5] や [2] といった教師あり手法ですら 1–8% 低い精度であった。
• 本手法はタスクタイプに一般化可能である：1 ショットで 54.17% から 30 ショットで 80.83% に精度が向上する一方、メタ学習に基づく EGNN は k 値が高くなると性能が低下する。
• 自己 distillation は 0.4–0.9% の精度向上をもたらし、多様体拡張は追加で 0.8–2% の向上をもたらす。アブレーション実験では、1 ショット設定で両者を併用しないと 3% の低下が確認された。
• より大きな事前学習データセットを用いることで性能が顕著に向上し、対照的自己教師あり学習のスケーラビリティを裏付けた。
• ゼロショット一般化性能が強く、1回の事前学習で、再訓練を経ずに任意の N ワイ k ショットタスクに展開可能である。