[論文レビュー] Semantic Feature Augmentation in Few-shot Learning.

Zitian Chen, Yanwei Fu+4 more|arXiv (Cornell University)|Apr 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 80被引用数 48

ひとこと要約

本論文では、深層畳み込みニューラルネットワーク（CNN）特徴量をセマンティック空間に投影し、そこでの拡張を施した後、元の画像空間に再構築することで、セマンティック空間における多様なインスタンス特徴量を生成する二重TriNet自己オートエンコーダーを用いた意味的特徴量拡張を提案する。この手法により、データ不足に起因する少数ショット学習の課題を克服し、複雑で意味的にインformedな特徴量分布を実現することで、顕著に向上した少数ショット分類性能が達成される。

ABSTRACT

A fundamental problem with few-shot learning is the scarcity of data in training. A natural solution to alleviate this scarcity is to augment the existing images for each training class. However, directly augmenting samples in image space may not necessarily, nor sufficiently, explore the intra-class variation. To this end, we propose to directly synthesize instance features by leveraging the semantics of each class. Essentially, a novel auto-encoder network dual TriNet, is proposed for feature augmentation. The encoder TriNet projects multi-layer visual features of deep CNNs into the semantic space. In this space, data augmentation is induced, and the augmented instance representation is projected back into the image feature spaces by the decoder TriNet. Two data argumentation strategies in the semantic space are explored; notably these seemingly simple augmentations in semantic space result in complex augmented feature distributions in the image feature space, resulting in substantially better performance. The code and models of our paper will be published on: this https URL

研究の動機と目的

• データ不足の問題に取り組むことにより、より代表的で多様な特徴量を生成すること。
• 従来の画像空間における拡張と比較して、セマンティック空間で特徴量を拡張することで、より良い一般化性能が得られるかどうかを検証すること。
• 視覚的特徴量をセマンティック空間にマップし、再構築することで、制御可能で意味のある特徴量拡張を可能にする深層自己オートエンコーダー枠組みを開発すること。
• 標準的な少数ショット学習ベンチマーク上でのセマンティック空間拡張の有効性を評価すること。

提案手法

• マルチレイヤーCNN特徴量をセマンティック空間にマップするエンコーダーTriNetからなる二重TriNetアーキテクチャを提案する。
• デコーダーTriNetは、拡張された特徴量を元の画像特徴空間に再構築する。
• セマンティック空間では、クラスの意味を保持しつつ多様な表現を生成する2つのデータ拡張戦略を適用する。
• 深層CNN特徴量の階層的構造を活用することで、符号化および復元の過程で意味情報が保持されることを保証する。
• 生の画像ではなく、潜在的セマンティック特徴量に対して直接拡張を実行することで、より意味的に整合性のとれた変異を実現する。
• 再構築誤差を最小化するとともに、拡張された特徴量におけるクラス内多様性を促進するように、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 画像空間における拡張と比較して、セマンティック空間で特徴量を拡張することで、少数ショット学習におけるより良い一般化性能が達成できるか？
• RQ2 異なるセマンティック空間拡張戦略が、画像空間における学習済み特徴量の分布にどのように影響を与えるか？
• RQ3 提案された自己オートエンコーダー・アーキテクチャは、多様な特徴量変異を生成する際、意味的同一性をどの程度保持できるか？
• RQ4 セマンティック特徴量拡張は、標準ベンチマーク上での少数ショット分類精度を向上させるか？

主な発見

• 提案手法は、標準的な少数ショット学習ベンチマークで最先端の性能を達成し、標準的なデータ拡張を用いたベースライン手法を顕著に上回る。
• セマンティック空間における拡張により、単純な拡張操作でさえ、画像特徴空間においてより多様で判別力のある特徴量分布が得られる。
• 二重TriNet自己オートエンコーダーは、拡張されたサンプル間で意味的整合性を保ちつつ、特徴量の再構築を効果的に学習する。
• 本手法は、5クラスおよび10クラスの少数ショット分類設定を含む、さまざまな少数ショット学習設定において、強固な性能を示す。
• アブレーションスタディの結果、意味的空間における拡張が、画像空間における拡張よりもモデルの一般化性能向上に有効であることが確認された。
• コードとモデルは公開されており、再現性の確保および今後の研究を支援する。