[論文レビュー] Self-Supervised Learning For Few-Shot Image Classification

Da Chen, Yuefeng Chen+4 more|arXiv (Cornell University)|Nov 14, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 26

ひとこと要約

本論文は、自己教師あり学習（SSL）を用いた少サンプル画像分類のための事前学習戦略を提案する。大規模な埋め込みネットワークを無教師データから堅牢で転送可能な表現を学習する段階で事前学習し、その後メタラーニングによる微調整を行う。本手法はMiniImageNetおよびCUBで最先端の性能を達成し、CUBでは1ショット精度をほぼ9%、クロスドメインベンチマークでは15%向上させた。これは、SSL事前学習段階で大規模な無教師データを活用した結果である。

ABSTRACT

Few-shot image classification aims to classify unseen classes with limited labelled samples. Recent works benefit from the meta-learning process with episodic tasks and can fast adapt to class from training to testing. Due to the limited number of samples for each task, the initial embedding network for meta-learning becomes an essential component and can largely affect the performance in practice. To this end, most of the existing methods highly rely on the efficient embedding network. Due to the limited labelled data, the scale of embedding network is constrained under a supervised learning(SL) manner which becomes a bottleneck of the few-shot learning methods. In this paper, we proposed to train a more generalized embedding network with self-supervised learning (SSL) which can provide robust representation for downstream tasks by learning from the data itself. We evaluate our work by extensive comparisons with previous baseline methods on two few-shot classification datasets ({\em i.e.,} MiniImageNet and CUB) and achieve better performance over baselines. Tests on four datasets in cross-domain few-shot learning classification show that the proposed method achieves state-of-the-art results and further prove the robustness of the proposed model. Our code is available at \hyperref[https://github.com/phecy/SSL-FEW-SHOT.]{https://github.com/phecy/SSL-FEW-SHOT.}

研究の動機と目的

• 深層埋め込みネットワークを訓練する際、小規模な教師ありデータセットで過学習が生じるという少サンプル学習の性能ボトルネックを解消すること。
• 教師あり事前学習の代わりに自己教師あり学習（SSL）を用いることで、埋め込みネットワークの一般化性能と転送性を向上させること。
• 大規模なSSL事前学習が、ドメイン内およびクロスドメインの少サンプル学習シナリオにおいて未観測クラスへの適応をどのように改善するかを調査すること。
• SSL事前学習により、より大きな、より表現力のあるネットワークを少サンプル学習で効果的に使用可能にできることを実証すること。これは、教師あり微調整の制限を克服する。

提案手法

• 同じ画像の増幅されたビュー間の相互情報量を最大化する対照的プロキシタスクを用いて、大規模な無教師データ上で深層埋め込みネットワークを自己教師あり学習（SSL）で事前学習する。
• 埋め込みバックボーンとして、例えばResNet-12やその拡張形のような大規模なネットワークアーキテクチャを採用し、SSL事前学習のおかげで過学習を回避できるようにする。
• エピソード形式のメタラーニングを用いて、サポートセットとクエリセットを含む少サンプル分類タスクをシミュレートすることで、事前学習済み埋め込みネットワークを微調整する。
• メタラーニングの過程でメトリック学習を適用し、サポートセットの埋め込みからクラスの重心を計算し、クエリサンプルを埋め込み空間における最近傍探索によって分類する。
• SSLで学習した埋め込みを、1つのドメイン（例：MiniImageNet）から他のドメイン（例：ISIC、EuroSAT）に直接転送することで、クロスドメイン少サンプル学習にフレームワークを拡張する。この際、追加の微調整は行わない。
• SSLフェーズで使用する無教師データの量を変化させることで、事前学習データ規模の影響を評価し、一貫した性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習による事前学習により、過学習を回避できるようになる大規模かつ強力な埋め込みネットワークを少サンプル画像分類で効果的に使用できるか？
• RQ2 一般化性能と転送性という観点から、SSL事前学習は教師あり事前学習よりも優れているか？
• RQ3 提案手法は、MiniImageNet や CUB といった標準的な少サンプルベンチマークで最先端の性能を達成するか？
• RQ4 SSLで学習した埋め込みは、ドメインギャップが存在するクロスドメイン少サンプル学習環境においても効果的に転送可能か？

主な発見

• 強いベースラインと比較して、MiniImageNetでは1ショット精度がほぼ3%、5ショット精度がほぼ4%向上し、CUBでは1ショット精度がほぼ9%、5ショット精度がほぼ3%向上した。
• SSL事前学習段階で無教師データ量を増やすことで、MiniImageNet設定において1ショットタスクで15%、5ショットタスクで13%の向上を達成した。
• 4つのデータセット（ChestX、ISIC、EuroSAT、CropDiseases）を対象としたクロスドメイン少サンプル学習において、平均69.69%の精度を達成し、以前のSOTA（68.14%）を上回った。
• 教師あり事前学習で大きなネットワーク容量を用いても、SSL事前学習モデルが優れていることを確認した。これは、SSLが過学習を抑制し、より良い一般化を実現していることを示している。
• 事前学習済みSSLネットワークを用いた直接の最近傍分類では性能が低く、最適な少サンプル性能を得るにはメタラーニングによる微調整が不可欠であることを示した。
• ImageNetで事前学習されたSSL埋め込みをCUBに転送することで、1ショットタスクで15%、5ショットタスクで8%の向上を達成した。これは、強力な転送性を確認する結果である。