[論文レビュー] Multi-modal Cycle-consistent Generalized Zero-Shot Learning

Rafael Felix, B. G. Vijay Kumar+2 more|arXiv (Cornell University)|Aug 1, 2018

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 28

ひとこと要約

本稿では、一般化ゼロショット学習（GZSL）のためのマルチモーダルなサイクル整合性GAN正則化を提案する。この手法は、合成された視覚的特徴が元の意味的特徴に再構成されることを強制することで、未学習クラスへの一般化を向上させる。サイクル整合性損失を導入することで、より意味的に忠実な視覚的表現が生成され、CUB、FLO、SUN、AWA、ImageNetのデータセットで最先端の性能を達成した。

ABSTRACT

In generalized zero shot learning (GZSL), the set of classes are split into seen and unseen classes, where training relies on the semantic features of the seen and unseen classes and the visual representations of only the seen classes, while testing uses the visual representations of the seen and unseen classes. Current methods address GZSL by learning a transformation from the visual to the semantic space, exploring the assumption that the distribution of classes in the semantic and visual spaces is relatively similar. Such methods tend to transform unseen testing visual representations into one of the seen classes' semantic features instead of the semantic features of the correct unseen class, resulting in low accuracy GZSL classification. Recently, generative adversarial networks (GAN) have been explored to synthesize visual representations of the unseen classes from their semantic features - the synthesized representations of the seen and unseen classes are then used to train the GZSL classifier. This approach has been shown to boost GZSL classification accuracy, however, there is no guarantee that synthetic visual representations can generate back their semantic feature in a multi-modal cycle-consistent manner. This constraint can result in synthetic visual representations that do not represent well their semantic features. In this paper, we propose the use of such constraint based on a new regularization for the GAN training that forces the generated visual features to reconstruct their original semantic features. Once our model is trained with this multi-modal cycle-consistent semantic compatibility, we can then synthesize more representative visual representations for the seen and, more importantly, for the unseen classes. Our proposed approach shows the best GZSL classification results in the field in several publicly available datasets.

研究の動機と目的

• GANによって生成された視覚的特徴に制約がなく、GZSLモデルの未学習クラスへの一般化性能が低いという問題に対処すること。
• GZSLにおける既知および未知のクラスの両方の合成視覚的表現の意味的忠実性を向上させること。
• 意味的特徴と視覚的特徴の間のサイクル整合的マッピングを強制することで、既知クラスへのバイアスを低減すること。
• 新たなマルチモーダルなサイクル整合性正則化を通じて、GANベースのGZSL性能を向上させること。
• CUB、FLO、SUN、AWA、ImageNetを含む多様なベンチマークで最先端の結果を達成すること。

提案手法

• 生成された視覚的特徴から元の意味的特徴を再構成することを強制するマルチモーダルなサイクル整合性損失を提案する。
• 生成器の出力を制約するため、サイクル整合性損失をGAN学習目的関数の正則化項として統合する。
• 生成器ネットワークを用いて、既知および未知のクラスの意味的埋め込みから視覚的特徴を合成する。
• 識別器を用いて、実際の視覚的特徴と生成された視覚的特徴を区別させ、分布の整合性を確保する。
• 敵対的損失、分類損失、およびサイクル整合性損失を組み合わせた統合損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 訓練された生成器を用いて、未知クラスの視覚的特徴を合成し、その後、その特徴を用いて多クラス分類器を学習する。

実験結果

リサーチクエスチョン

• RQ1 生成された視覚的特徴とその元の意味的特徴との間でサイクル整合性を強制することで、GZSL分類精度が向上するか？
• RQ2 提案された正則化は、GZSLモデルの既知クラスへのバイアスを低減するか？
• RQ3 サイクル整合性GANアプローチは、f-CLSWGANなどの最先端手法と比較して、ゼロショットおよび一般化ゼロショット精度においてどのように差をつけるか？
• RQ4 サイクル整合性損失は、トレーニング中の収束を早めるか？
• RQ5 大規模なデータセットでクラス数が多く、クラス間の不均衡が著しい状況下でも、この手法はどの程度効果的か？

主な発見

• 提案されたサイクル整合性GANアプローチは、ZSLおよびGZSLの両設定において、CUB、FLO、SUN、AWA、ImageNetの各データセットで最先端の性能を達成した。
• CUB、FLO、AWAでは、f-CLSWGANベースラインを顕著に上回り、合成特徴の意味的忠実性の向上に起因するとされた。
• 再構成損失 ℓREG はトレーニング全体を通して安定して減少し、モデルが生成された視覚的特徴を元の意味的特徴に戻すことができていることを確認した。
• サイクル-WGANバージョンは、4つのデータセットのうち3つでベースラインよりも高速に収束した。これは、トレーニングダイナミクスの向上を示している。
• サイクル-CLSWGANバージョンは、分類損失を含めた場合、ベースラインと同等の収束速度を示した。これは、最適化が安定していることを示唆している。
• SUNデータセットでは、クラス数が多く、既知/未知クラスの不均衡が著しいにもかかわらず、サイクル-WGANモデルは依然として強力な性能を示したが、サイクル-CLSWGANが最も優れていた。