[論文レビュー] Generative Dual Adversarial Network for Generalized Zero-shot Learning

He Huang, Changhu Wang+2 more|arXiv (Cornell University)|Nov 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 5

ひとこと要約

本稿では、視覚的空間と意味的空間の間の双方向的マッピング、意味的空間からの視覚的特徴の生成、メトリック学習を、循環整合性と二重敵対的損失を用いて統合的に学習する統一フレームワーク「生成的デュアル敵対的ネットワーク（GDAN）」を提案する。GDANは、未学習クラスの高品質な視覚的特徴を生成することで、4つのベンチマークデータセットにおいて最先端の性能を達成し、同時に学習済みクラスの高精度を維持する。

ABSTRACT

This paper studies the problem of generalized zero-shot learning which requires the model to train on image-label pairs from some seen classes and test on the task of classifying new images from both seen and unseen classes. Most previous models try to learn a fixed one-directional mapping between visual and semantic space, while some recently proposed generative methods try to generate image features for unseen classes so that the zero-shot learning problem becomes a traditional fully-supervised classification problem. In this paper, we propose a novel model that provides a unified framework for three different approaches: visual-> semantic mapping, semantic->visual mapping, and metric learning. Specifically, our proposed model consists of a feature generator that can generate various visual features given class embeddings as input, a regressor that maps each visual feature back to its corresponding class embedding, and a discriminator that learns to evaluate the closeness of an image feature and a class embedding. All three components are trained under the combination of cyclic consistency loss and dual adversarial loss. Experimental results show that our model not only preserves higher accuracy in classifying images from seen classes, but also performs better than existing state-of-the-art models in in classifying images from unseen classes.

研究の動機と目的

• 視覚的空間と意味的空間の間の固定された一方向マッピングに依存する従来のゼロショット学習モデルの限界を解消すること。
• 視覚的から意味的へのマッピング、意味的から視覚的への生成、メトリック学習の3つの補完的アプローチを、1つのエンドツーエンドフレームワークに統合すること。
• 一般化ゼロショット学習の設定において、未学習クラスへの一般化を向上させるとともに、学習済みクラスの高精度を維持すること。
• 回帰器と識別器の間で相互学習を可能にする、新たな二重敵対的損失を提案すること。

提案手法

• モデルは、クラス埋め込みから視覚的特徴を合成する生成器、視覚的特徴を元の意味的埋め込みに再マッピングする回帰器、視覚的特徴と意味的特徴の一致を評価する識別器から構成される。
• 生成器と回帰器は循環整合性損失により訓練され、生成された特徴が元の意味的埋め込みに再構成可能であることを保証する。
• 生成器と識別器は二重敵対的損失により訓練され、識別器は本物と偽物（生成済み）の特徴ペアを区別し、生成器は本物に似た一致するペアを生成するように学習する。
• 生成器の循環整合性損失と二重敵対的損失の組み合わせを用いて、全体のフレームワークを共同最適化することで、特徴の質と整合性を向上させる。
• 共有の潜在空間に依存しないため、半教師あり学習が可能であり、ハブネス問題を回避する。代わりに、柔軟で敵対的ベースの類似度メトリクスを学習する。
• t-SNE可視化を用いて、合成された画像特徴と実際の特徴の分布を定性的に評価し、生成された特徴が実際の特徴とよく一致していることを示している。

Figure 1: Four categories of zero-shot learning methods. (a) Embedding models that map visual features of the same class to the same feature in semantic space. (b) Models that map each class’s semantic feature to features in the visual space. (c) Metric learning models that directly learn to evaluat

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングフレームワークは、一般化ゼロショット学習における視覚的から意味的へのマッピング、意味的から視覚的への生成、メトリック学習を効果的に統合できるか？
• RQ2 提案された二重敵対的損失機構は、単一方向または非敵対的アプローチと比較して、特徴の整合性と分類性能を向上させるか？
• RQ3 生成器、回帰器、識別器の共同訓練は、学習済みクラスおよび未学習クラスの両方の性能にどのように影響を与えるか？
• RQ4 モデルが生成する合成視覚的特徴は、分布的および識別可能性の観点で、どれほど実際の特徴に類似しているか？

主な発見

• GDANは4つのベンチマークデータセット（CUB, SUN, AwA2, aPY）において最先端の性能を達成し、未学習クラスのゼロショット分類精度を従来手法を上回っている。
• モデルは学習済みクラスの高精度を維持しており、一般化ゼロショット学習設定において、学習済みクラスと未学習クラスの両方の性能を効果的にバランスさせている。
• 構成要因分析により、生成器、回帰器、識別器のすべてのコンponentsが共同学習によって恩恵を受けており、統合フレームワークの有効性が示されている。
• 合成サンプルの数を増やすことで未学習クラスの性能が向上し、特にCUBやSUNのように未学習クラスが多いデータセットでは約400サンプルで飽和する傾向を示している。
• t-SNE可視化により、合成画像特徴が良好に分布しており、特にアザラシ、ヤギ、キリンのようなクラスにおいて、実際の特徴とよく一致していることが確認された。
• 失敗事例（ネズミや像のクラス）は、高い意味的類似性や視覚的複雑さが、モデルの生成能力に挑戦をもたらす可能性を示している。

Figure 2: Overall framework of the proposed GDAN model, where black arrows indicate data flow.