[論文レビュー] Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning

Wenbin Li, Lei Wang+4 more|arXiv (Cornell University)|Mar 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 43

ひとこと要約

この論文は DN4 を提案します。局所記述子に基づく画像対クラス測度を用いた Deep Nearest Neighbor Neural Network で、エピソード学習で訓練され、いくつかのFew-shotベンチマークで最先端の結果を達成します。

ABSTRACT

Few-shot learning in image classification aims to learn a classifier to classify images when only few training examples are available for each class. Recent work has achieved promising classification performance, where an image-level feature based measure is usually used. In this paper, we argue that a measure at such a level may not be effective enough in light of the scarcity of examples in few-shot learning. Instead, we think a local descriptor based image-to-class measure should be taken, inspired by its surprising success in the heydays of local invariant features. Specifically, building upon the recent episodic training mechanism, we propose a Deep Nearest Neighbor Neural Network (DN4 in short) and train it in an end-to-end manner. Its key difference from the literature is the replacement of the image-level feature based measure in the final layer by a local descriptor based image-to-class measure. This measure is conducted online via a $k$-nearest neighbor search over the deep local descriptors of convolutional feature maps. The proposed DN4 not only learns the optimal deep local descriptors for the image-to-class measure, but also utilizes the higher efficiency of such a measure in the case of example scarcity, thanks to the exchangeability of visual patterns across the images in the same class. Our work leads to a simple, effective, and computationally efficient framework for few-shot learning. Experimental study on benchmark datasets consistently shows its superiority over the related state-of-the-art, with the largest absolute improvement of $17\%$ over the next best. The source code can be available from \UrlFont{https://github.com/WenbinLee/DN4.git}.

研究の動機と目的

• 少数ショット学習における最終分類を画像レベルの特徴から局所記述子ベースの測度へ再考を促す。
• 同じクラス内の画像間で局所的な視覚パターンの移転性と交換性を活用する。
• 深い局所記述子と非パラメトリックな image-to-class 測度を組み合わせたエンドツーエンド訓練可能なフレームワークを提案する。
• 標準的な metric-learning および meta-learning 手法に対する empirical gains を標準的な few-shot ベンチマークで示す。

提案手法

• CNN で画像を埋め込み、畳み込み特徴マップから深い局所記述子を取得する。
• 各クエリ記述子に対してクラス記述子プールと k 近傍探索を行い、画像対クラス測度を構築する。
• 全記述子とその k-NN マッチとのコサイン類似度を集約して、分類のクラススコアを得る。
• embedding と非パラメトリック測度をエピソード学習（C-way K-shot タスク）内でエンドツーエンド訓練する。
• 埋め込みモジュールとして Conv-64F を用い、必要に応じて ResNet-256F のようなより深いバックボーンを選択する。
• ハイパーパラメータ k を調整し、設定間での頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 局所記述子ベースの image-to-class 測度は、画像レベルの特徴と比較して few-shot 分類を改善するか。
• RQ2 DN4 の局所記述子ベースの非パラメトリック分類器をエンドツーエンド訓練できれば、標準的な metric-learning や meta-learning アプローチを上回るか。
• RQ3 ハイパーパラメータ（k、バックボーン、オーバー/アンダーマッチング）は、データセット間で DN4 の性能にどのように影響するか。

主な発見

• DN4 は、5-way 1-shot および 5-way 5-shot タスクで、いくつかの最先端のメトリック学習手法より高い精度を達成する（例: mini ImageNet で 51.24% 対 49.42%、68.20% 対 71.02% など）。
• 画像レベルの特徴を深い局所記述子に置き換え、image-to-class 測度を用いると、特に微細分類データセットで大きな利得が得られる。
• エンドツーエンドでの訓練が可能で、テスト時には埋め込みモジュールを除けば非パラメトリックなまま。
• より深いバックボーン（ResNet-256F）の導入により性能がさらに向上する（例: 5-shot で 74.44%）。
• アブレーション研究は image-to-class 測度が image-to-image variant より優れており、クラス内の局所パターンの交換性の恩恵を受けることを示す。
• DN4 は meta-learning ベースラインと競合的であり、しばしば 5-shot 設定でそれを上回る。