[論文レビュー] Adversarial Feature Hallucination Networks for Few-Shot Learning

Kai Li, Yulun Zhang+2 more|arXiv (Cornell University)|Mar 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 23

ひとこと要約

本論文は、少数のラベル付きサンプルを条件として用いることで、多様で判別性の高い特徴を合成する、条件付き Wasserstein GAN に基づくフレームワークである adversarial feature hallucination networks (AFHN) を提案する。本手法は、判別性を向上させる分類正則化子 (CR) と、モード崩壊を防ぎ多様性を確保するアンチコラプス正則化子 (AR) という2つの新しい正則化子を導入し、Mini-ImageNet、CIFAR100、FC100 ベンチマークで最先端の性能を達成し、従来のデータ拡張法やメタラーニング手法と比較して顕著な向上を示した。

ABSTRACT

The recent flourish of deep learning in various tasks is largely accredited to the rich and accessible labeled data. Nonetheless, massive supervision remains a luxury for many real applications, boosting great interest in label-scarce techniques such as few-shot learning (FSL), which aims to learn concept of new classes with a few labeled samples. A natural approach to FSL is data augmentation and many recent works have proved the feasibility by proposing various data synthesis models. However, these models fail to well secure the discriminability and diversity of the synthesized data and thus often produce undesirable results. In this paper, we propose Adversarial Feature Hallucination Networks (AFHN) which is based on conditional Wasserstein Generative Adversarial networks (cWGAN) and hallucinates diverse and discriminative features conditioned on the few labeled samples. Two novel regularizers, i.e., the classification regularizer and the anti-collapse regularizer, are incorporated into AFHN to encourage discriminability and diversity of the synthesized features, respectively. Ablation study verifies the effectiveness of the proposed cWGAN based feature hallucination framework and the proposed regularizers. Comparative results on three common benchmark datasets substantiate the superiority of AFHN to existing data augmentation based FSL approaches and other state-of-the-art ones.

研究の動機と目的

• 少数のラベル付きデータに起因する制限を克服し、高品質な合成特徴を生成することで、少サンプル学習 (FSL) の課題に取り組む。
• 従来のデータ拡張手法では、同時に特徴の判別性と多様性を保証できないという限界を克服する。
• 新規クラスからの少数のラベル付きサンプルを条件として特徴をホワリュケーションする、条件付き GAN ベースのフレームワークを構築する。
• 特徴の判別性を明示的に強制し、合成過程におけるモード崩壊を防止する新しい正則化子を導入する。
• 提案手法が標準的な FSL ベンチマークにおいて、最先端のデータ拡張法およびメタラーニング手法と比較して優れた性能を示すことを実証する。

提案手法

• AFHN は、新規クラスからの少数のラベル付きサンプルの特徴を条件として用いる、条件付き Wasserstein GAN (cWGAN) を用いて、合成特徴を生成する。
• 分類正則化子 (CR) は、合成特徴と同一クラスの実際の特徴との類似度を高めると同時に、異なるクラスの特徴との類似度を低減することを強制する。
• アンチコラプス正則化子 (AR) は、潜在空間内での類似するノイズベクトルが類似する特徴出力を生成する場合にペナルティを課し、モード崩壊を抑制し多様性を促進する。
• 生成器は、CR による判別性と AR による多様性を両立させた特徴を生成するように訓練され、分類器の一般化性能が向上する。
• 本フレームワークは画像空間ではなく特徴空間で動作するため、より構造的で意味的に意味のあるデータ拡張が可能になる。
• アブレーションスタディにより、cWGAN フレームワークおよび両正則化子が個別および組み合わせて有効であることが検証された。

実験結果

リサーチクエスチョン

• RQ1 条件付き GAN ベースの特徴ホワリュケーションフレームワークは、少サンプル分類性能を向上させるために、効果的に合成特徴を生成できるか？
• RQ2 提案された分類正則化子は、同一クラスの実際の特徴と一致させることで、合成特徴の判別性を向上させられるか？
• RQ3 アンチコラプス正則化子は、条件付き GAN におけるモード崩壊を効果的に緩和し、合成特徴の多様性を向上させられるか？
• RQ4 AFHN は、少サンプル学習ベンチマークにおいて、最先端のデータ拡張法およびメタラーニング手法と比較してどのように性能を発揮するか？
• RQ5 少数のラベル付きサンプルによって制限されるクラス内分散を補うために、特徴ホワリュケーションによるデータ拡張が、分類精度をどの程度向上させるか？

主な発見

• AFHN は Mini-ImageNet データセットで最先端の性能を達成し、5ショット設定において、従来の SOTA メソッドを 2.4% 上回った。
• CIFAR100 では、1ショット設定で Dual TriNet より 5%、5ショット設定で 3% の向上を達成し、最良のメタラーニング手法よりも 7% と 4% の向上を示した。
• CIFAR100 では、1ショット設定でベースライン手法より 10%、5ショット設定で 5% の向上を示し、GAN ベースのデータ拡張の有効性を裏付けた。
• FC100 では、1ショット設定で中程度の向上、5ショット設定でわずかな向上を示したが、これはデータセットの小規模さと限られたクラス内分散に起因するとされた。
• アブレーションスタディにより、CR および AR 正則化子の両方が性能向上に顕著に寄与していることが確認され、特に t-SNE 視覚化から AR が特徴の多様性を著しく向上させていることが示された。
• 合成特徴の数には、精度に飽和効果が見られ、クラス内分散が十分に捉えられると性能が安定することが示された。