[論文レビュー] A Closer Look at Prototype Classifier for Few-shot Image Classification

Mingcheng Hou, Issei Sato|arXiv (Cornell University)|Oct 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 12

ひとこと要約

本稿では、メタラーニングや線形分類器の再訓練を必要とせずに、プロトタイプ分類器の性能を向上させる、新しい理論的分析と実用的手法を提案する。一般化バウンドを導出することで、特徴量のノルム分散とクラス内・クラス間分散比の重要性が浮き彫りにされ、標準的な事前学習モデルから得られる特徴量に対してL2正規化を適用するだけで、miniImageNetおよびCUBで最先端の線形評価ベースラインと同等の性能を達成できることを示している。

ABSTRACT

The prototypical network is a prototype classifier based on meta-learning and is widely used for few-shot learning because it classifies unseen examples by constructing class-specific prototypes without adjusting hyper-parameters during meta-testing. Interestingly, recent research has attracted a lot of attention, showing that training a new linear classifier, which does not use a meta-learning algorithm, performs comparably with the prototypical network. However, the training of a new linear classifier requires the retraining of the classifier every time a new class appears. In this paper, we analyze how a prototype classifier works equally well without training a new linear classifier or meta-learning. We experimentally find that directly using the feature vectors, which is extracted by using standard pre-trained models to construct a prototype classifier in meta-testing, does not perform as well as the prototypical network and training new linear classifiers on the feature vectors of pre-trained models. Thus, we derive a novel generalization bound for a prototypical classifier and show that the transformation of a feature vector can improve the performance of prototype classifiers. We experimentally investigate several normalization methods for minimizing the derived bound and find that the same performance can be obtained by using the L2 normalization and minimizing the ratio of the within-class variance to the between-class variance without training a new classifier or meta-learning.

研究の動機と目的

• 標準的な事前学習モデルから得られる特徴量を用いても、なぜプロトタイプ分類器がメタラーニングや再訓練を経ずに良好な性能を発揮するのかを理解すること。
• 非ガウス分布や異分散特徴分布下におけるプロトタイプ分類器の理論的理解のギャップを埋めること。
• メタラーニングや線形分類器の再訓練を必要とせずに、プロトタイプ分類器の性能を向上させる手法を開発すること。
• プロトタイプ分類器の性能を支配する要因（ノルム分散とクラス内・クラス間分散比）を同定すること。
• クロスドメイン少数ショット学習ベンチマーク上で手法を検証し、標準的な学習シナリオを超えた頑健性を示すこと。

提案手法

• ガウス分布の仮定や各クラス間での共分散行列の等価性を仮定しない、プロトタイプ分類器の新しい一般化バウンドを導出する。
• バウンドに含まれる3つの要因を同定：特徴量ノルムの分散、クラス間での分布形状の差異、クラス内分散とクラス間分散の比。
• ノルム分散とクラス内・クラス間分散比を最小化することで、プロトタイプ分類器の性能が向上すると提案する。
• 特徴量ベクトルにL2正規化を適用し、ノルム分散を低減するとともに、その有効性を実証的に検証する。
• 中心化、L2ノルム、EST、LDAなどの正規化および変換手法を調査・比較し、導出されたバウンドを最小化する手法を検討する。
• ResNet12およびResNet18を用いて、miniImageNetおよびCUBという標準的な少数ショットベンチマークで手法を評価し、ProtoNetおよび線形評価ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的な事前学習モデルから得られる特徴量を用いて学習されたプロトタイプ分類器が、なぜメタラーニングベースラインや線形評価ベースラインに劣るのか？
• RQ2 ガウス分布の仮定や共分散行列の等価性を仮定しないで、プロトタイプ分類器の理論的一般化バウンドを導出できるか？
• RQ3 どの特徴量変換手法が、導出された一般化バウンドを最も効果的に最小化し、プロトタイプ分類器の精度を向上させるか？
• RQ4 メタラーニングや分類器の再訓練を伴わず、L2正規化のみで、最先端の線形評価手法と同等の性能が達成できるか？
• RQ5 ソースドメインとターゲットドメインの特徴量分布が異なるクロスドメイン少数ショット学習シナリオにおいて、提案手法はどの程度の性能を示すか？

主な発見

• 標準的な事前学習モデル（例：Baseline, Baseline++）から抽出した特徴量に対してL2正規化を適用することで、メタラーニングや分類器の再訓練を必要とせずに、miniImageNetおよびCUBで線形評価ベースラインと同等の性能を達成できる。
• ResNet18を用いたminiImageNetでは、提案手法（Baseline++-w/o-linear, L2-norm）が5ショットで67.21%の精度を達成し、ProtoNetの61.79%を上回り、線形評価ベースラインと同等またはそれを上回る性能を示した。
• 提案手法は、導出された一般化バウンドの主要要因であるクラス内・クラス間分散比とノルム分散を顕著に低減しており、これが性能向上に寄与している。
• メタラーニングを一切行わず、L2正規化済み特徴量を用いたプロトタイプ分類器は、ResNet18を用いたCUBで1ショットで47.65%の精度を達成し、ProtoNetの44.01%を上回り、最良の線形評価ベースラインと同等の性能を示した。
• 提案手法はクロスドメイン少数ショット学習にも良好に一般化され、Baseline++から得たL2正規化特徴量を用いることで、CUBで5ショットで64.17%の精度を達成し、ProtoNetや他のベースラインを上回った。
• 実験結果は理論的分析の妥当性を裏付けている：ノルム分散とクラス内・クラス間分散比の最小化は、異なるモデルやデータセットにおいて一貫した性能向上をもたらす。