[論文レビュー] Variational Prototyping-Encoder: One-Shot Learning with Prototypical Images

Junsik Kim, Tae-Hyun Oh+3 more|arXiv (Cornell University)|Apr 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 9

ひとこと要約

本稿では、実世界の画像をそれに対応する原型的記号に再構成することで、分離された潜在空間を学習する変分自己オートエンコーダーを用いたワンショット学習手法である Variational Prototyping-Encoder (VPE) を提案する。実画像から原型的画像への画像変換をメタタスクとして活用することで、微細な外見ベースの類似性を捉え、GTSRBおよびロゴデータセットにおいてメトリック学習ベースラインを上回り、正確性の向上が最大30.49%に達する。

ABSTRACT

In daily life, graphic symbols, such as traffic signs and brand logos, are ubiquitously utilized around us due to its intuitive expression beyond language boundary. We tackle an open-set graphic symbol recognition problem by one-shot classification with prototypical images as a single training example for each novel class. We take an approach to learn a generalizable embedding space for novel tasks. We propose a new approach called variational prototyping-encoder (VPE) that learns the image translation task from real-world input images to their corresponding prototypical images as a meta-task. As a result, VPE learns image similarity as well as prototypical concepts which differs from widely used metric learning based approaches. Our experiments with diverse datasets demonstrate that the proposed VPE performs favorably against competing metric learning based one-shot methods. Also, our qualitative analyses show that our meta-task induces an effective embedding space suitable for unseen data representation.

研究の動機と目的

• 実画像と標準的プロトタイプの間の極端なデータ不均衡およびドメインの違いに起因するワンショットグラフィック記号認識の課題に対処する。
• 事前に定義された距離メトリックに依存するのではなく、外見ベースの類似性を学習することで、メトリック学習の限界を克服する。
• 未学習の記号クラスに対しても対応可能な汎用的な埋め込み空間を構築する。
• ペアドされた実画像・プロトタイプ画像データを活用して、頑健で摂動に不変な特徴を暗黙的に学習する生成モデルを訓練する。
• 新しいクラスの1つのプロトタイプのみを用いて、効果的なゼロショットおよびフェイントショット分類を可能にする。

提案手法

• 実画像をそれに対応するプロトタイプ的記号に再構成するように変分自己オートエンコーダー（VAE）を訓練し、プロトタイプを強力な監視信号として用いる。
• エンコーダーを用いて実画像を潜在分布にマッピングし、デコーダーを用いて潜在コードからプロトタイプを再構成する。
• 潜在空間がプロトタイプ特徴の周囲に凝集するように促進する再構成損失を最適化することで、画像類似性を暗黙的にモデル化する。
• 学習済み潜在空間における最近傍法分類を実行し、未学習クラスのプロトタイプ埋め込みを用いる。
• 画像変換タスク（実画像 → プロトタイプ）をメタタスクとして扱い、汎用的で知覚的に意味のある表現を学習する。
• l₁正規化距離行列とt-SNE可視化を用いて、学習済み埋め込みの質とクラスタ構造を分析する。

実験結果

リサーチクエスチョン

• RQ1 実画像からプロトタイプへの画像変換で訓練された生成モデルは、ワンショット分類のためのより効果的で汎用的な埋め込み空間を、メトリック学習よりも効果的に学習できるか？
• RQ2 VPEモデルは、学習中に見られなかった未学習の記号クラスにどの程度一般化できるか？
• RQ3 再構成を通じて外見ベースの類似性を学習することは、ラベルベースのメトリック学習よりも優れたクラスタリングと特徴の識別性をもたらすか？
• RQ4 幾何的および光度的歪みを伴う実画像から、どの程度正確にプロトタイプを再構成できるか？
• RQ5 t-SNE可視化および距離行列のパターンの観点から、学習済み潜在空間の質は、既存のメトリックベースのワンショット学習者と比較してどの程度優れているか？

主な発見

• VPEはGTSRBワンショット分類ベンチマークで83.79%の正確性を達成し、2番目に良い手法の53.30%から顕著な向上を示した。
• Belga → Flickr32ロゴデータセットでは、40.95%から53.53%に向上し、ロゴ認識における強力な一般化性能を示した。
• VPEの距離行列は、記号カテゴリに対応する明確なブロックパターンを示しており、外見ベースの類似性が効果的に捉えられていることを示している。
• t-SNE可視化では、VPE埋め込みが明確に分離され、識別性の高いクラスタを形成している一方、ベースライン手法は部分的に混合した分布を示している。
• プロトタイプ再構成の結果、VPEはぼやけや低解像度の状況下でも、禁止の赤い円や危険三角形といった高レベルの記号的概念を捉えている。
• モデルはオープンセット分類にも一般化でき、テスト段階で未学習の記号クラスのプロトタイプのみを用いて分類が可能である。