[論文レビュー] Transductive Few-shot Learning with Prototype-based Label Propagation by Iterative Graph Refinement

Hao Zhu, Piotr Koniusz|arXiv (Cornell University)|Apr 23, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、反復的グラフ最適化を通じて、プロトタイプベース学習とラベル伝搬を統合する、新規なトランスductive few-shot学習フレームワークであるprotoLPを提案する。動的プロトタイプ更新とラベル予測に基づく再推定グラフにより、mini-ImageNet、tiered-ImageNet、CIFAR-FS、CUBの各データセットで最先端性能を達成し、特にクラス不均衡な設定下でも優れた性能を発揮する。また、高速な推論速度を維持し、均一なクラス事前分布仮定に依存しない点も特徴である。

ABSTRACT

Few-shot learning (FSL) is popular due to its ability to adapt to novel classes. Compared with inductive few-shot learning, transductive models typically perform better as they leverage all samples of the query set. The two existing classes of methods, prototype-based and graph-based, have the disadvantages of inaccurate prototype estimation and sub-optimal graph construction with kernel functions, respectively. In this paper, we propose a novel prototype-based label propagation to solve these issues. Specifically, our graph construction is based on the relation between prototypes and samples rather than between samples. As prototypes are being updated, the graph changes. We also estimate the label of each prototype instead of considering a prototype be the class centre. On mini-ImageNet, tiered-ImageNet, CIFAR-FS and CUB datasets, we show the proposed method outperforms other state-of-the-art methods in transductive FSL and semi-supervised FSL when some unlabeled data accompanies the novel few-shot task.

研究の動機と目的

• 既存のプロトタイプベースおよびグラフベースのトランスductive few-shot学習手法が直面する、不正確なプロトタイプ推定と固定で最適でないグラフ構造の問題を解決すること。
• プロトタイプ学習とラベル伝搬を統合した、プロトタイプとグラフ構造を同時に最適化するエンドツーエンドのフレームワークを構築すること。
• 性能が不均衡な少数学習設定で低下する、均一なクラス事前分布仮定に依存しないようにすること。
• 多様なデータセット、バックボーン、データオーグメンテーション戦略に対して一般化性能とロバスト性を向上させること。
• インダクティブ手法と同等の高速な推論速度を維持しながら、最先端の精度を達成すること。

提案手法

• 本手法は、サンプル同士の類似度ではなく、プロトタイプとクエリサンプルの類似度に基づいてグラフを構築する。これにより、最適化中における動的グラフ更新が可能になる。
• カーネル回帰（または最適輸送）問題を解いてサンプルをプロトタイプに割り当てることと、プロトタイプベースのラベル伝搬でソフトラベルスコアを予測することを交互に繰り返す。
• 予測されたラベル分布を用いてプロトタイプを反復的に更新することで、洗練された表現学習が可能になる。
• ラベル伝搬ステップをパrameter化することで、均一なクラス事前分布仮定の必要性がなくなり、クラス不均衡に対するロバスト性が向上する。
• フレームワークはプラグアンドプレイであり、任意の事前学習済みバックボーンと互換性があるため、多様なFSLパイプラインに適用可能である。
• プロトタイプ割り当てとラベル予測の両方をバランスさせる共同目的関数を交互に最小化することで最適化を実行する。

実験結果

リサーチクエスチョン

• RQ1 反復的にプロトタイプとグラフ構造を最適化する統合フレームワークは、既存のプロトタイプベースおよびグラフベースのトランスductive FSL手法を上回る性能を発揮できるか？
• RQ2 均一なクラス事前分布仮定を排除することで、不均衡な少数学習ベンチマークでの性能が向上するか？
• RQ3 多様なデータセットとバックボーンで、SOTAの精度を維持しながらも、高速な推論速度を達成できるか？
• RQ4 プロトタイプ-サンプル関係に基づく動的グラフ構築は、固定カーネルベースのグラフと比較して、ロバスト性と精度の面で優れているか？
• RQ5 異なるデータオーグメンテーション戦略およびモデルアーキテクチャに対して、この手法はどの程度一般化可能か？

主な発見

• mini-ImageNetおよびtiered-ImageNetにおいて、WRN-28-10を用いた1-shotおよび5-shotプロトコルで、それぞれ84.69%および89.47%の精度を達成し、先行SOTA手法を上回った。
• 不均衡設定（α=2）において、1-shotプロトコルでmini-ImageNet、tiered-ImageNet、CUBの各データセットで、ベースラインよりそれぞれ3.3%、5.6%、6.5%の向上を達成した。
• ResNet-12を用いたCUBでは、不均衡1-shot設定で82.22%の精度を達成し、PT-MAP（65.1%）とLaplacianShot（73.7%）を大きく上回った。
• DenseNetおよびMobileNetバックボーンを用いた場合、mini-ImageNet 1-shotでTAFFSLおよびLaplacianShotをそれぞれ3.7%および2.2%上回り、tiered-ImageNet 1-shotで5.8%および1.8%上回った。
• 損失は10イタレーション未満で安定化し、1エピソードあたり数ミリ秒で実行可能で、iLPCやICIと比較して約10倍高速であった。
• protoLPはクラス不均衡に対してロバストであり、均一な事前分布仮定を必要としない。これに対して、Sinkhorn や PT-MAP は不均衡設定で顕著な精度低下を示す。