[論文レビュー] Few-Shot Learning via Saliency-guided Hallucination of Samples

Hongguang Zhang, Jing Zhang+1 more|arXiv (Cornell University)|Apr 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 21

ひとこと要約

本稿では、特徴空間における前景・背景混合をガイドするためのサリエンシーマップを用いて合成トレーニングサンプルを幻覚生成する、SalNetと呼ばれる新規な少サンプル学習フレームワークを提案する。事前学習済みのサリエンシーネットワークと、Real Representation Regularization (TriR) を備えた二ストリーム混合ネットワークを活用することで、224×224 入力で 5 ワイ 1 ショット設定下でミニImageNetで 78.34% の精度を達成し、最先端の性能を実現した。

ABSTRACT

Learning new concepts from a few of samples is a standard challenge in computer vision. The main directions to improve the learning ability of few-shot training models include (i) a robust similarity learning and (ii) generating or hallucinating additional data from the limited existing samples. In this paper, we follow the latter direction and present a novel data hallucination model. Currently, most datapoint generators contain a specialized network (i.e., GAN) tasked with hallucinating new datapoints, thus requiring large numbers of annotated data for their training in the first place. In this paper, we propose a novel less-costly hallucination method for few-shot learning which utilizes saliency maps. To this end, we employ a saliency network to obtain the foregrounds and backgrounds of available image samples and feed the resulting maps into a two-stream network to hallucinate datapoints directly in the feature space from viable foreground-background combinations. To the best of our knowledge, we are the first to leverage saliency maps for such a task and we demonstrate their usefulness in hallucinating additional datapoints for few-shot learning. Our proposed network achieves the state of the art on publicly available datasets.

研究の動機と目的

• 1 枚または数枚のラベル付き例からの一般化を必要とする少サンプル学習の課題に対処すること。
• 大規模なアノテート済みデータに依存するデータ拡張を減らすために、専用の GAN を学習する代わりにサリエンシーマップを用いること。
• 特徴空間における前景・背景混合を通じて多様で現実的な合成サンプルを生成することで、一般化性能を向上させること。
• 幻覚生成された特徴が現実的で妥当な組み合わせに近づくように保証する正則化戦略を導入すること。

提案手法

• 事前学習済みのサリエンシーネットワークが入力画像から前景および背景領域をセグメンテーションし、画像構成に対する正確な制御を可能にする。
• 二ストリームネットワークが潜在空間における前景および背景特徴を混合し、新たな妥当な画像表現を生成する。
• 2 階の統計が空間特徴を固定サイズの記述子に集約し、頑健な類似度学習を可能にする。
• Real Representation Regularization (TriR) は、幻覚生成された特徴が現実の前景・背景ペアに類似するように、監視ネットワークを用いて制約を課す。
• 2 種類の混合戦略を提案する：クラス内混合（同じクラス）とクラス間混合（他のクラスの最近傍背景を使用）。
• クエリとサポート特徴間の類似度は関係ネットワークを介して学習され、少サンプル分類が可能になる。

実験結果

リサーチクエスチョン

• RQ1 大規模なアノテート済みデータを必要とせずに、サリエンシーマップを効果的に活用して現実的で多様なトレーニングサンプルを生成できるか？
• RQ2 特徴空間におけるサリエンシーマップ誘導型混合と、従来の画像空間におけるデータ拡張とを比較した場合、少サンプル分類性能にどのような差が生じるか？
• RQ3 特にクラス内混合とクラス間混合の違いが、モデルの一般化性能に与える影響は何か？
• RQ4 Real Representation Regularization (TriR) は、幻覚生成された特徴の現実性と品質を向上させるのにどの程度有効か？
• RQ5 サリエンシーマップ生成器の選定が、最終的な少サンプル学習性能に顕著な影響を及えるか？

主な発見

• SalNet は 224×224 入力画像を用いてミニImageNet データセットで 5 ワイ 1 ショット精度 78.34% を達成し、以前の最先端手法を上回った。
• クラス内混合戦略が最も高い性能を示し、77.95% の精度を記録した。これは、幻覚生成時にクラスの一貫性を保つことで一般化性能が向上することを示している。
• より大きな入力画像（224×224）を用いることで性能が向上し、標準的な 84×84 解像度と比較して 1 ショット精度で 5.1% の絶対的向上を達成した。
• Real Representation Regularization (TriR) は、さまざまな設定で一貫した性能向上を示し、幻覚生成の質が著しく向上したことが裏付けられた。
• アブレーションスタディにより、サリエンシーフォーマンスとデータ幻覚生成が両方とも不可欠な要素であることが確認され、これらを無効化すると 1 ショットタスクで 10% 以上の精度低下が生じた。
• 本手法はさまざまなサリエンシーマップ生成器に対して頑健であり、代替の事前学習モデルを用いても性能低下が最小限に抑えられた。