[論文レビュー] Finding Significant Features for Few-Shot Learning using Dimensionality Reduction

Mauricio Méndez-Ruiz, Iván García+2 more|arXiv (Cornell University)|Jul 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 1

ひとこと要約

本論文は、次元削減とクラス内・クラス間最近傍距離スコアを用いて、少サンプル学習のためのタスクに顕著な特徴を特定する、新しいICNNモジュールを提案する。メトリック学習の前段階で最も判別的な特徴を選択することで、miniImageNet上でベースラインより約2%の精度向上を達成し、特に5クラス1ショット設定で顕著である。

ABSTRACT

Few-shot learning is a relatively new technique that specializes in problems where we have little amounts of data. The goal of these methods is to classify categories that have not been seen before with just a handful of samples. Recent approaches, such as metric learning, adopt the meta-learning strategy in which we have episodic tasks conformed by support (training) data and query (test) data. Metric learning methods have demonstrated that simple models can achieve good performance by learning a similarity function to compare the support and the query data. However, the feature space learned by a given metric learning approach may not exploit the information given by a specific few-shot task. In this work, we explore the use of dimension reduction techniques as a way to find task-significant features helping to make better predictions. We measure the performance of the reduced features by assigning a score based on the intra-class and inter-class distance, and selecting a feature reduction method in which instances of different classes are far away and instances of the same class are close. This module helps to improve the accuracy performance by allowing the similarity function, given by the metric learning method, to have more discriminative features for the classification. Our method outperforms the metric learning baselines in the miniImageNet dataset by around 2% in accuracy performance.

研究の動機と目的

• 与えられたタスクに最も関連する特徴を特定することで、少サンプル学習におけるデータ不足の課題に対処すること。
• 全次元の埋め込みではなく判別的な特徴に焦点を当てることで、メトリック学習の性能を向上させること。
• 標準的なメトリック学習手法がタスク固有の特徴の重要性を十分に活用できないという限界を克服すること。
• さまざまなメトリック学習フレームワークと互換性を持つ汎用モジュールを構築し、少サンプル分類のための特徴表現を強化すること。

提案手法

• 特徴抽出器から得られるサポートセット埋め込みに対して、複数の次元削減技術（PCA、Isomap、UMAP）を適用する。
• クラス間およびクラス内最近傍距離に基づくICNNスコアを計算し、特徴削減の品質を評価する。
• 各エピソード的タスクに対して、ICNNスコアが最も高い次元削減手法を選択する。
• 選択された削減手法を、メトリック学習の推論前にサポートおよびクエリ埋め込みの両方に対して適用する。
• 既存のメトリック学習モデル（例：プロトタイプネットワーク）にICNNモジュールをプラグインとして統合する。
• miniImageNetからランダムにタスクをサンプリングするエピソード学習を用いて、特徴選択プロセスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 次元削減技術を用いることで、タスクに顕著な特徴を特定することで、少サンプル分類の性能が向上するか？
• RQ2 クラス間・クラス内距離に基づくスコアリング機構は、標準的な特徴表現と比較して、少サンプル学習においてどのように異なるか？
• RQ3 ICNNを用いたタスク固有の特徴選択は、低ショット状況における一般化性能とロバストネスを向上させるか？
• RQ4 提案手法は、さまざまな少サンプル設定において、最先端のモデルと比較して精度と安定性の点で優れているか？

主な発見

• ICNNモジュールは、miniImageNetの5クラス1ショット設定において、プロトタイプネットワークの精度を約2%向上させた。
• バックボーンにResNet-12を用いた場合、5クラス1ショットで63.81% ± 0.71のテスト精度、5クラス5ショットで78.14% ± 0.50の精度を達成した。
• サポートデータに加えてクエリデータを併用して次元削減を行うことで、サポートデータのみを用いた場合よりも顕著に高いICNNスコアが得られた。
• ICNNモジュールは、精度分布の全四分位数において性能向上を示し、特に第1四分位と第4四分位で顕著な向上が見られた。これは、ロバストネスの向上を示している。
• 標準的なメトリック学習ベースライン（例：マッチングネットワーク、リレーションネットワーク）および最先端モデル（K-tuplet Nets、Principal Characteristic Nets）を上回る性能を発揮した。
• 最も優れた性能を示した特徴削減手法はPCA、Isomap、UMAPであったが、より複雑なモデルはプロトタイプ推定が悪化するため、性能が低下した。