[論文レビュー] Exploiting Unsupervised Inputs for Accurate Few-Shot Classification

Yuqing Hu, Vincent Gripon+1 more|arXiv (Cornell University)|Feb 21, 2020

Domain Adaptation and Few-Shot Learning被引用数 22

ひとこと要約

本論文は、追加のトレーニングパラメータを導入せずに、事前学習済み特徴量と未ラベル付きサンプルからの伝達的インフォーメーションを活用する、グラフベースの特徴量補間手法を提案する。特徴埋め込みから類似性グラフを構築し、隣接するサンプルに特徴量を拡散するためのパワー反復を適用することで、miniImageNetおよびCUBベンチマークで最先端の精度を達成し、GNNベースのアプローチを上回る。シンプルさと効率性を維持している。

ABSTRACT

In few-shot classification, the aim is to learn models able to discriminate classes using only a small number of labeled examples. In this context, works have proposed to introduce Graph Neural Networks (GNNs) aiming at exploiting the information contained in other samples treated concurrently, what is commonly referred to as the transductive setting in the literature. These GNNs are trained all together with a backbone feature extractor. In this paper, we propose a new method that relies on graphs only to interpolate feature vectors instead, resulting in a transductive learning setting with no additional parameters to train. Our proposed method thus exploits two levels of information: a) transfer features obtained on generic datasets, b) transductive information obtained from other samples to be classified. Using standard few-shot vision classification datasets, we demonstrate its ability to bring significant gains compared to other works.

研究の動機と目的

• ラベル付きデータが限られた状況におけるfew-shot画像分類の課題に、未ラベル付きサンプルからの伝達的インフォーメーションを活用することで対処する。
• 追加のトレーニング可能なパラメータを導入するためモデルの複雑さが増す既存のGNNベースの手法の限界を克服する。
• 転移学習とグラフベースの特徴量伝搬を組み合わせることで、低データ環境下での一般化性能を向上させる、シンプルだが効果的な手法を開発する。
• 事前学習済み特徴量のグラフベース補間が、few-shot分類性能を顕著に向上させられることを示す。
• 主要ハイパーパrameterとクラス不均衡の影響が、モデルの頑健性と性能に与える影響を分析する。

提案手法

• 大規模な汎用データセットで深層ニューラルネットワークバックボーンを事前学習し、移譲可能な特徴量を抽出する。
• ノードがサンプルを表し、エッジ重みが特徴ベクトル間のコサイン類似度に基づく類似性グラフを構築する。
• 行列 $ (\alpha I + E)^\kappa $ を用いて、$ E $ をグラフ隣接行列とする拡散プロセスを適用し、隣接サンプル間で特徴量を補間する。
• ラベル付きデータのみで、補間された特徴量を用いてシンプルなロジスティック回帰分類器をトレーニングする。
• 訓練済み分類器を用いて、未ラベル付きサンプルの推論を実行し、グラフからの伝達的インダクティブバイアスを活用する。
• 平滑化と表現忠実度のバランスを取るために、ハイパーパrameter $ \kappa $、$ \alpha $、および $ k $（近傍数）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 追加のトレーニング可能なパラメータを導入せずに、グラフベースの特徴量補間はfew-shot分類精度を向上させることができるか？
• RQ2 ハイパーパrameter $ \kappa $、$ \alpha $、$ k $ の選択が、手法の性能と頑健性に与える影響はいかほどか？
• RQ3 未ラベル付きデータセットにおけるクラス不均衡が、提案手法の伝達的アプローチの性能をどの程度悪化させるか？
• RQ4 精度と効率性の観点から、提案手法は最先端のGNNベースのfew-shot学習アプローチと比較してどのように差をつけるか？
• RQ5 特徴量がクラス境界と完全に一致していない場合でも、グラフ構造がサンプル間の意味のある関係を効果的に捉えられるか？

主な発見

• 提案手法は、miniImageNetおよびCUBベンチマークで最先端の性能を達成し、既存のGNNベースのアプローチを上回るfew-shot分類精度を実現した。
• 最も良い性能は、$ k $ を小さく（例：$ k=5 $ または $ k=10 $）した場合に得られ、ノイズが多いまたは遠く離れた類似性が性能を悪化させることを示している。
• $ k $ が小さい場合、ハイパーパrameterの選択に対して頑健であり、$ \kappa \leq 3 $ の範囲では $ \alpha $ および $ \kappa $ に対してほとんど感度がない。
• $ \alpha $ が小さく、$ k $ が大きい場合、特にグラフが密な場合に過剰平滑化が発生し、性能が低下する。
• 未ラベル付きデータセットにおけるクラス不均衡は顕著に精度を低下させ、特に1クラスあたり1つのサンプルしかない場合に最も悪い性能が観察された。
• 可視化結果から、一部のクラスはグラフ上で明確に分離されている一方で、他のクラスは混在していることが示され、バックボーン特徴量にタスクに不要なばらつきが含まれている可能性がある。