[論文レビュー] TransMatch: A Transfer-Learning Scheme for Semi-Supervised Few-Shot Learning

Zhongjie Yu, Lin Chen+2 more|arXiv (Cornell University)|Dec 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 7

ひとこと要約

本論文は、ラベル付きのベースクラスデータとラベルなしのノーブルクラスデータを活用して少サンプル分類精度を向上させる、半教師あり少サンプル学習のための新規転移学習フレームワーク、TransMatchを提案する。ベースクラスで特徴抽出器を事前学習し、Imprintingによる分類器の初期化、およびMixMatchを用いたファインチューニングにより、CUB-200-2011およびminiImageNetで最先端の性能を達成し、既存手法を顕著に上回る。

ABSTRACT

The successful application of deep learning to many visual recognition tasks relies heavily on the availability of a large amount of labeled data which is usually expensive to obtain. The few-shot learning problem has attracted increasing attention from researchers for building a robust model upon only a few labeled samples. Most existing works tackle this problem under the meta-learning framework by mimicking the few-shot learning task with an episodic training strategy. In this paper, we propose a new transfer-learning framework for semi-supervised few-shot learning to fully utilize the auxiliary information from labeled base-class data and unlabeled novel-class data. The framework consists of three components: 1) pre-training a feature extractor on base-class data; 2) using the feature extractor to initialize the classifier weights for the novel classes; and 3) further updating the model with a semi-supervised learning method. Under the proposed framework, we develop a novel method for semi-supervised few-shot learning called TransMatch by instantiating the three components with Imprinting and MixMatch. Extensive experiments on two popular benchmark datasets for few-shot learning, CUB-200-2011 and miniImageNet, demonstrate that our proposed method can effectively utilize the auxiliary information from labeled base-class data and unlabeled novel-class data to significantly improve the accuracy of few-shot learning task.

研究の動機と目的

• 少サンプル学習におけるラベル付きデータの不足に取り組むために、ラベル付きベースクラスデータとラベルなしノーブルクラスデータからの補助的情報を活用すること。
• 従来のメタラーニングアプローチとは異なる、転移学習に基づく新しい半教師あり少サンプル学習フレームワークを提案すること。
• 最先端の半教師あり学習技術と転移学習を統合することで、少サンプル分類性能を向上させること。
• ベースクラスで事前学習したモデルと、ノーブルクラスのラベルなしデータを用いた自己教師付き精練を組み合わせることで、性能が向上することを実証すること。

提案手法

• 大規模なベースクラスデータセットで特徴抽出器を事前学習し、一般化された視覚的表現をエンコードすること。
• 事前学習済みの特徴抽出器を用いて、ノーブルクラスの少サンプルラベル付き例の埋め込みを生成し、それをImprinting手法により分類器の重みを初期化するために使用すること。
• ラベルなしノーブルクラスデータを統合するために、最先端の半教師あり学習手法であるMixMatchを用いて初期化された分類器をファインチューニングすること。
• 2段階の訓練プロセスを適用する：まず、ラベルなしデータを含まないベースクラスでの事前学習、次に、ラベルなしノーブルクラスデータを含む共同ファインチューニング。
• 公平な比較のため、次元256のL2正規化済み特徴埋め込みを用い、標準的なデータオーグメンテーションおよび訓練プロトコルに従うこと。
• ファインチューニング中にラベルなし例の一般化性能を向上させるために、MixMatchの一貫性正則化と疑似ラベル付け戦略を統合すること。

実験結果

リサーチクエスチョン

• RQ1 ベースクラスでの事前学習とノーブルクラスでの半教師あり学習を組み合わせた転移学習フレームワークは、既存のメタラーニングベースの少サンプル手法を上回ることができるか？
• RQ2 事前学習されたベースクラスモデルの知識と組み合わせた場合、ノーブルクラスのラベルなしデータが少サンプル分類精度をどの程度向上させることができるか？
• RQ3 転移学習パイプライン内にImprintingとMixMatchを統合することで、低ショット状況下でのロバスト性と精度が向上するか？
• RQ4 ノーブルクラスからのラベルなし例の数が増加するに従い、提案手法の性能はどのようにスケーリングするか？

主な発見

• miniImageNetデータセットでは、20ショット設定で74.61%の精度を達成し、以前の最先端手法（Imprinting+FT）を4.54ポイント上回った。
• CUB-200-2011では、20ショット設定で74.61%の精度を達成し、MixMatch（73.00%）およびImprinting+FT（70.07%）を顕著に上回った。
• クラスあたり20個のラベルなし例を用いた場合、miniImageNetの10ショット設定で68.60%の精度を達成し、限られた監督情報下でも優れた性能を示した。
• 1ショット設定では、CUB-200-2011で28.02%の精度を達成し、Imprinting（26.08%）およびMixMatch（22.93%）を上回り、極めて低ショット状況下でもロバストであることを示した。
• ラベルなしデータが増加するに従い、性能が一貫して向上した：CUB-200-2011の5ショット設定では、ラベルなし例が5個の場合は52.90%から、20個の場合は59.25%に向上した。
• 不要なクラスからのラベルなしデータが混入しても、TransMatchはMixMatchやImprintingを上回る優れた性能を維持した。