[論文レビュー] Few-Shot Image Recognition by Predicting Parameters from Activations

Siyuan Qiao, Chenxi Liu+2 more|arXiv (Cornell University)|Jun 12, 2017

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 18

ひとこと要約

本論文は、特徴活性化から分類層パラメータを直接予測する少サンプル画像認識手法を提案しており、1回の順伝播によって新規カテゴリへのゼロショット適応を可能にしている。事前学習済みネットワークにおける活性化と学習済みパラメータの構造的類似性を活用することで、ImageNetおよびMiniImageNetの両方で最先端の精度を達成している。

ABSTRACT

In this paper, we are interested in the few-shot learning problem. In particular, we focus on a challenging scenario where the number of categories is large and the number of examples per novel category is very limited, e.g. 1, 2, or 3. Motivated by the close relationship between the parameters and the activations in a neural network associated with the same category, we propose a novel method that can adapt a pre-trained neural network to novel categories by directly predicting the parameters from the activations. Zero training is required in adaptation to novel categories, and fast inference is realized by a single forward pass. We evaluate our method by doing few-shot image recognition on the ImageNet dataset, which achieves the state-of-the-art classification accuracy on novel categories by a significant margin while keeping comparable performance on the large-scale categories. We also test our method on the MiniImageNet dataset and it strongly outperforms the previous state-of-the-art methods.

研究の動機と目的

• 1～3例の新規カテゴリ例しか利用できない少サンプル画像認識の課題に対処すること。
• ファインチューニングなしで新規カテゴリに適応し、大規模カテゴリの性能を維持する手法を開発すること。
• 活性化からパラメータを直接予測することで、1回の順伝播による高速推論を実現すること。
• 活性化統計と分類層パラメータ間の構造的類似性を活用し、カテゴリ間で一般化すること。
• 少サンプルおよび大規模分類タスクの両方に効果的な統合フレームワークを構築すること。

提案手法

• 新規カテゴリの分類層パラメータを、そのカテゴリごとの平均活性化から予測する。
• 事前学習済みネットワークの重みを教師信号として用い、平均活性化を対応するカテゴリパラメータにマップするパラメータ予測ネットワークを訓練する。
• 予測されたパラメータを元の事前学習済みパラメータと一致させるためにコントラスト型損失を用いることで、意味的整合性を確保する。
• 温度スケーリングを施したコサイン類似度を用いることで、パラメータ予測の一般化性能とロバスト性を向上させる。
• t-SNE可視化を用いて、埋め込み空間における活性化平均と学習済みパラメータ間の構造的類似性を検証する。
• アブレーションおよび性能比較のため、シンプルなCNNとWRN-28-10の2つのバックボーンアーキテクチャを用いて手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 活性化平均と分類パラメータ間の構造的類似性を活用することで、ファインチューニングなしに新規カテゴリのパラメータを予測可能か？
• RQ2 活性化からのパラメータ予測は、ImageNetのような大規模データセットにおいて、既存の少サンプル学習手法を上回るか？
• RQ3 従来の手法が固定されたタスク設定に依存するのに対し、本手法は任意の少サンプルカテゴリ数や参照画像数に一般化可能か？
• RQ4 予測されたパラメータ分布は、意味的構造の観点から元の事前学習済みパラメータとどの程度一致するか？
• RQ5 最先端の少サンプル精度を達成しつつ、大規模カテゴリでも強力な性能を維持できるか？

主な発見

• 全ImageNetデータセットにおいて、本手法は顕著な差をもって最先端の少サンプル分類精度を達成しており、元の1000クラスの性能は同等を維持している。
• MiniImageNetでは、5-way 1-shot設定で59.60%、5-way 5-shot設定で73.74%の精度を達成し、先行SOTA手法を上回っている。
• Ours-WRN実装は5-shot設定で73.74%の精度を達成し、MAML（63.11%）およびMeta-Learner LSTM（60.60%）を10ポイント以上上回っている。
• t-SNEを用いた可視化により、活性化平均と分類パラメータ間に高い構造的類似性があることが確認され、本手法の核心的仮定を裏付けている。
• パラメータ予測器は、クラス数や1クラスあたりの参照画像数に制限なしに、多様な少サンプル設定に良好に一般化している。
• 新規カテゴリに対する訓練なしに、事前学習後は1回の順伝播のみに依存するため、高速な推論が実現されている。