[論文レビュー] Variational Feature Disentangling for Fine-Grained Few-Shot Classification

Jingyi Xu, Hieu Lê+3 more|arXiv (Cornell University)|Oct 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 4

ひとこと要約

本稿では、クラス判別的特徴とクラス内分散成分に特徴を分離する変分的特徴分離枠組みを提案する。ベースクラスから学習された共通の等方的ガウス分布を用いてクラス内変動をモデル化することで、クラスアイデンティティを保持した多様で現実的な拡張を生成する。CUB、NAB、Stanford Dogsデータセットにおいて、先行手法より最大4.6%の向上を達成し、SOTA性能を実現した。

ABSTRACT

Fine-grained few-shot recognition often suffers from the problem of training data scarcity for novel categories.The network tends to overfit and does not generalize well to unseen classes due to insufficient training data. Many methods have been proposed to synthesize additional data to support the training. In this paper, we focus one enlarging the intra-class variance of the unseen class to improve few-shot classification performance. We assume that the distribution of intra-class variance generalizes across the base class and the novel class. Thus, the intra-class variance of the base set can be transferred to the novel set for feature augmentation. Specifically, we first model the distribution of intra-class variance on the base set via variational inference. Then the learned distribution is transferred to the novel set to generate additional features, which are used together with the original ones to train a classifier. Experimental results show a significant boost over the state-of-the-art methods on the challenging fine-grained few-shot image classification benchmarks.

研究の動機と目的

• 限られたトレーニングサンプルによる過学習や一般化性能の低下を引き起こす、細分類の少サンプル分類におけるデータ不足の課題に対処すること。
• モード崩壊を起こすか、不適切な変動を導入する既存のデータ拡張手法の限界を克服すること。
• 拡張されたサンプルがクラス判別的特徴を維持しつつ、高いクラス内多様性を示すようにすること。
• カテゴリ間で共通するクラス内変動をモデル化することで、ベースクラスから新しいクラスへ一般化しやすい手法を開発すること。
• 特徴を判別的成分と分散成分に分離することで、分布ベースの拡張を有効に行い、少サンプル分類の精度を向上させること。

提案手法

• 特徴マップのマックスプーリングにより得られるクラス判別的特徴 $ z_I $ と、変分推論によりモデル化されるクラス内分散特徴 $ z_V $ に画像特徴を分離する。
• 変分オートエンコーダ（VAE）を用いて、すべてのクラスに共通する等方的ガウス分布としてクラス内変動を学習する。この学習は、データが豊富なベースクラスで実施する。
• 学習済みの $ z_V $ 分布から複数回サンプリングし、多様なクラス内変動を生成する。これらの変動をクラス判別的特徴 $ z_I $ に加算して、拡張特徴を構築する。
• 分離の確保のため、$ z_I $ に対するクロスエントロピー分類損失と、$ z_V $ に対するVAE再構成損失という2つの監視信号を用いてモデルを訓練する。
• 訓練済みのフレームワークを用いて、新しいクラスのサポートセットを拡張する。同じ分布を用いて新規クラスの特徴を生成することで、クラスアイデンティティを保持しつつ多様性を向上させる。
• t-SNE可視化とクラスタリング指標（DBI、クラス内/クラス間距離）を用いて、生成された特徴の現実性と分布の忠実度を評価する。

実験結果

リサーチクエスチョン

• RQ1 共通の、分離可能なクラス内変動表現が、細分類の少サンプル学習におけるデータ拡張を改善できるか？
• RQ2 共通の等方的ガウス分布を用いて変分オートエンコーダでクラス内分散をモデル化することで、より現実的で多様な拡張サンプルが得られるか？
• RQ3 このような分離された特徴拡張スキームは、クラス判別的特徴を保持しつつ、クラス内分散を高められるか？
• RQ4 生成された特徴の分布は、クラスタの凝集度とクラス間分離度の観点から、実データと比較してどの程度類似しているか？
• RQ5 この手法は、既存のデータ拡張ベースラインに比べて、どの程度少サンプルの細分類分類性能を向上させるか？

主な発見

• 提案手法はCUBデータセットにおいて、5ショット設定で91.48%の精度を達成し、以前のSOTA手法を4.6ポイント上回った。
• NABデータセットでは、5ショット設定で95.22%の精度を達成し、以前のSOTA手法より1.04%の向上を示した。
• 本手法で生成された特徴は、実際の未観測特徴の分布に近く、Davies–Bouldin指数（DBI）が2.53と、実データの3.02に近く、他の手法よりも顕著に優れた結果を示した。
• 拡張特徴のクラス内分散（27.27）は、実データ（28.97）に非常に近く、他の手法よりも優れている。一方、$Δ$-エンコーダ手法では分散が10.34にまで低下し、分布崩壊が生じていることが示された。
• t-SNE可視化により、本手法で生成されたサンプルが、同じクラスの実データ点の周辺に位置しているのを確認した。一方、$Δ$-エンコーダは実データ分布から逸脱した新たな孤立クラスタを生成していた。
• 生成された特徴が意味的で重複のないものであることを示し、増加する拡張サンプル数に対しても高い性能を維持した。