[論文レビュー] Prototype Completion with Primitive Knowledge for Few-Shot Learning

Baoquan Zhang, Xutao Li+3 more|arXiv (Cornell University)|Sep 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 7

ひとこと要約

本稿では、少数ショット学習におけるプロトタイプ推定を改善するためのプロトタイプ補完フレームワークを提案する。ベースクラスの特徴量が既に良好にクラスタリングされている状況において、部品や属性のアノテーションなどのプリミティブ知識を活用して、より代表的なプロトタイプを推定する。不確実性を考慮したガウス分布ベースの融合戦略と未ラベルデータを用いたプロトタイプ補完ネットワークを導入することで、分類精度を向上させ、miniImageNet、meta-MiniImageNet、CUBの各データセットで最先端手法を2%〜9%上回る性能を達成した。

ABSTRACT

Few-shot learning is a challenging task, which aims to learn a classifier for novel classes with few examples. Pre-training based meta-learning methods effectively tackle the problem by pre-training a feature extractor and then fine-tuning it through the nearest centroid based meta-learning. However, results show that the fine-tuning step makes very marginal improvements. In this paper, 1) we figure out the key reason, i.e., in the pre-trained feature space, the base classes already form compact clusters while novel classes spread as groups with large variances, which implies that fine-tuning the feature extractor is less meaningful; 2) instead of fine-tuning the feature extractor, we focus on estimating more representative prototypes during meta-learning. Consequently, we propose a novel prototype completion based meta-learning framework. This framework first introduces primitive knowledge (i.e., class-level part or attribute annotations) and extracts representative attribute features as priors. Then, we design a prototype completion network to learn to complete prototypes with these priors. To avoid the prototype completion error caused by primitive knowledge noises or class differences, we further develop a Gaussian based prototype fusion strategy that combines the mean-based and completed prototypes by exploiting the unlabeled samples. Extensive experiments show that our method: (i) can obtain more accurate prototypes; (ii) outperforms state-of-the-art techniques by 2% - 9% in terms of classification accuracy. Our code is available online.

研究の動機と目的

• 新しいクラスのサンプルが事前学習済み特徴空間で分散している場合に、代表的なプロトタイプを推定する課題に対処すること。
• 事前学習ベースのメタラーニングにおいて、特徴抽出器のファインチューニングが限界的な向上をもたらす理由を解明すること。
• 部品・属性アノテーションなどのプリミティブ知識を事前知識として組み込むことで、プロトタイプ推定を向上させること。
• ベースクラスと新しいクラスの間でドメインシフトが生じる場合やプリミティブ知識がノイズを含む場合に、耐性のあるプロトタイプ統合戦略により誤差を低減すること。
• 特徴抽出器のファインチューニングに依存せずに、最先端の性能を達成すること。

提案手法

• 部品（耳、脚、目など）の存在といったプリミティブ知識を、プロトタイプ補完を導くための事前信号として導入する。
• ベースクラスのサンプルから抽出された属性の視覚的特徴を用いて、完全なプロトタイプを予測するためのプロトタイプ補完ネットワーク（ProtoComNet）を訓練する。
• 未ラベルデータを用いてプロトタイプ分布をモデル化することで、平均ベースのプロトタイプと補完済みプロトタイプを統合するガウス分布ベースのプロトタイプ統合戦略を採用する。
• 未ラベルデータを活用することで、プロトタイプの不確実性や分布を推定し、ノイズの多い事前知識やドメインシフトの影響を低減する。
• 統合されたプロトタイプを用いてコサイン距離に基づく最近傍分類器による分類を実行する。
• 特徴抽出器のファインチューニングを回避する事前学習フレームワークに従う。

実験結果

リサーチクエスチョン

• RQ1 なぜ事前学習ベースの少数ショット学習において、特徴抽出器のファインチューニングは性能向上にほとんど寄与しないのか？
• RQ2 ラベル付き例が少ない状況で、部位レベルや属性レベルの事前知識を組み込むことで、プロトタイプ推定を改善できるか？
• RQ3 ノイズを含むプリミティブ知識やベースクラスと新しいクラスとの差異に対して、どのようにプロトタイプ補完を耐性を持たせるか？
• RQ4 分布に敏感な統合戦略により、平均ベースのプロトタイプと補完済みプロトタイプを統合することで、分類精度が向上するか？
• RQ5 既存の最先端手法を上回る性能を達成できるプロトタイプ補完フレームワークを構築できるか？

主な発見

• 事前学習済み特徴空間の分析から、ベースクラスは凝縮したクラスタを形成している一方で、新しいクラスは高い分散を示しており、特徴抽出器のファインチューニングに限界があることが説明できる。
• プリミティブ知識を用いたプロトタイプ補完により、真のクラス中心から離れたサンプルに対して特に精度が向上し、1ショット設定で顕著な向上が観察された。
• 5クラス1ショットのminiImageNetでは73.13%の精度を達成し、ベースラインを4%、最先端手法を2%〜9%上回った。
• ガウス分布ベースのプロトタイプ統合戦略により、プリミティブ知識のノイズに敏感になるのを軽減し、ノイズ率30%でも69.97%の精度（統合なしでは51.97%）を維持した。
• アブレーションスタディの結果、プロトタイプ補完と統合の両方が不可欠であることが確認された。両者を組み合わせることで、平均ベースの統合より3%、平均のみのプロトタイプより4%の向上が1ショットタスクで得られた。
• ノイズを含むプリミティブ知識に対しても、ガウス統合戦略を用いることで性能低下が著しく緩和された。