[論文レビュー] Image Deformation Meta-Networks for One-Shot Learning

Zitian Chen, Yanwei Fu+4 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 24

ひとこと要約

本稿では、プローブ画像とギャラリー画像のパッチを統合することで、多様で意味的に意味のある変形画像を合成するメタラーニングフレームワーク、Image Deformation Meta-Networks (IDeMe-Net) を提案する。この手法は、変形サブネットワークと埋め込みネットワークのエンドツーエンド最適化により、miniImageNet および ImageNet-1K ベンチマークで最先端の性能を達成し、ワンショット分類精度を顕著に向上させる。

ABSTRACT

Humans can robustly learn novel visual concepts even when images undergo various deformations and lose certain information. Mimicking the same behavior and synthesizing deformed instances of new concepts may help visual recognition systems perform better one-shot learning, i.e., learning concepts from one or few examples. Our key insight is that, while the deformed images may not be visually realistic, they still maintain critical semantic information and contribute significantly to formulating classifier decision boundaries. Inspired by the recent progress of meta-learning, we combine a meta-learner with an image deformation sub-network that produces additional training examples, and optimize both models in an end-to-end manner. The deformation sub-network learns to deform images by fusing a pair of images --- a probe image that keeps the visual content and a gallery image that diversifies the deformations. We demonstrate results on the widely used one-shot learning benchmarks (miniImageNet and ImageNet 1K Challenge datasets), which significantly outperform state-of-the-art approaches. Code is available at https://github.com/tankche1/IDeMe-Net.

研究の動機と目的

• 新しいカテゴリに対して1つまたは数個のラベル付き例しか利用できないワンショット視覚認識の課題に対処すること。
• 意味的コンテンツを保持したが現実的でない変形画像を生成することで、分類器のロバスト性と意思決定境界の学習を向上させること。
• ベースカテゴリからの自己教師付きギャラリー画像を活用し、エンドツーエンドのメタラーニングにより多様で補完的なトレーニング例を合成すること。
• 視覚的に不自然なが、重要な意味的情報を含む変形画像が、少サンプル一般化を向上させることを示すこと。

提案手法

• 変形サブネットワークは、プローブ画像（視覚的コンテンツを保持）とギャラリー画像（外観の変異を導入）のパッチを線形融合して変形画像を生成する。
• ネットワークはプローブおよびギャラリー画像をそれぞれ9つの空間的パッチに分割し、微分可能で融合メカニズムを介してパッチごとのブレンド重みを学習する。
• 全システムはメタラーニングを用いてエンドツーエンドで訓練される：メタラーナーはベースカテゴリ上で変形および埋め込みネットワークを最適化し、新しいクラスへの一般化を可能にする。
• 埋め込みサブネットワークは、ワンショット分類のための特徴表現に画像をマップするが、変形サブネットワークは分類器の性能向上に寄与する拡張を生成するように訓練される。
• 分類損失と複数の少サンプルタスクにおけるメタ損失を含む、共同最適化目的関数が使用される。
• 埋め込みネットワークに ResNet-18 バックボーンを用いて、miniImageNet および ImageNet-1K Challenge データセット上でアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 画像融合による変形画像の合成が、ワンショット学習における少サンプル一般化を向上させることができるか？
• RQ2 視覚的に非現実的だが意味的に意味のある変形画像が、より良い意思決定境界の学習に寄与するか？
• RQ3 メタラーニングフレームワークが、ワンショット分類に有用な拡張を生成するように変形サブネットワークを効果的に最適化できるか？
• RQ4 合成された変形画像の数がモデルの性能および一般化に与える影響は何か？

主な発見

• IDeMe-Net は、miniImageNet ベンチマークの1ショット設定でトップ1正答率59.14%、5ショット設定で74.63%を達成し、すべての先行最先端手法を上回る。
• ImageNet-1K Challenge データセットでは、合成された変形画像の数が増えるにつれて5ショットのトップ5正答率が向上し、n_aug > 8 で飽和する。
• t-SNE 視覚化では、IDeMe-Net が生成する変形画像がクラス多様体全体に広く分布しており、意思決定境界付近にクラスタリングしているのに対し、ベースラインのノイズ拡張画像とは対照的である。
• この手法は、誤りの可能性のあるギャラリー画像を効果的に正しいクラス多様体に戻すことができ、ノイズや曖昧な入力に対してもロバストであることを示している。
• アブレーションスタディにより、変形サブネットワークが性能向上に顕著に寄与することが確認された。実際のギャラリー画像を用いた「IDeMe-Net - Deform」バリアントは、ズレのため性能が劣る。
• 性能向上は複数の少サンプル学習ベンチマークで一貫しており、提案されたデータ拡張戦略の一般化能力が裏付けられている。