[論文レビュー] Generating Visual Representations for Zero-Shot Classification

Maxime Bucher, Stéphane Herbin+1 more|arXiv (Cornell University)|Aug 23, 2017

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 17

ひとこと要約

本論文は、未学習クラスの意味的属性から人工的視覚特徴を合成する条件付き生成モデルを学習することで、ゼロショット分類（ZSC）および一般化ゼロショット分類（GZSC）のための新規アプローチを提案する。これによりZSCは標準的な教師あり学習問題に変換される。本手法は4つの生成モデルを用いて5つのデータセットで最先端の性能を達成し、判別的分類器を視覚特徴空間で有効に利用できるため、従来の埋め込みベース手法を著しく上回る。

ABSTRACT

This paper addresses the task of learning an image clas-sifier when some categories are defined by semantic descriptions only (e.g. visual attributes) while the others are defined by exemplar images as well. This task is often referred to as the Zero-Shot classification task (ZSC). Most of the previous methods rely on learning a common embedding space allowing to compare visual features of unknown categories with semantic descriptions. This paper argues that these approaches are limited as i) efficient discrimi-native classifiers can't be used ii) classification tasks with seen and unseen categories (Generalized Zero-Shot Classification or GZSC) can't be addressed efficiently. In contrast , this paper suggests to address ZSC and GZSC by i) learning a conditional generator using seen classes ii) generate artificial training examples for the categories without exemplars. ZSC is then turned into a standard supervised learning problem. Experiments with 4 generative models and 5 datasets experimentally validate the approach, giving state-of-the-art results on both ZSC and GZSC.

研究の動機と目的

• 共通の埋め込み空間に依存する既存のZSC手法の限界を克服し、判別的分類器を効果的に活用できるようにすること。
• テスト時に既知クラスと未知クラスの両方が存在する一般化ゼロショット分類（GZSC）におけるバイアス問題を解消すること。
• 未知クラスのための人工的訓練例を生成することで、ZSCに強力な深層判別モデルを適用可能とすること。
• 標準的ZSCおよび大規模GZSCシナリオにおける生成的特徴合成の有効性を検証すること。

提案手法

• 未学習クラスの意味的属性から合成視覚特徴表現を生成する条件付き生成モデル（例：GAN、VAE、VAE-GAN）を学習する。
• 既知クラスの画像特徴とそれに対応する属性を用いて生成器を教師付きに学習し、属性から視覚特徴へのマッピングを学習する。
• 既知クラスの実際の訓練データと未知クラスの生成された合成データを組み合わせて、判別的分類器（例：SVMまたはニューラルネットワーク）を訓練する。
• クラス名を密な意味的ベクトルとして表現するため、事前学習済みの単語埋め込み（例：500次元のskip-gram）を用いる。
• 一般化を向上させるために、訓練中にデータ拡張技術を適用する。
• 推論時に、すべての未知クラスのための合成特徴を生成器で生成し、エンドツーエンド分類を可能にする。

実験結果

リサーチクエスチョン

• RQ1 意味的属性から合成視覚特徴を生成することで、従来の埋め込みベース手法と比較してゼロショット分類性能が向上するか？
• RQ2 テスト時に既知クラスと未知クラスの両方が存在する一般化ゼロショット分類（GZSC）において、本手法がバイアス問題を効果的に軽減できるか？
• RQ3 未知クラスのための訓練データを合成することで、ZSCに判別的分類器を効果的に適用できるか？
• RQ4 階層的クラス構造の異なるレベル（例：2ホップ、3ホップ、すべての未知クラス）において、本手法の性能はどのようにスケーリングするか？
• RQ5 生成モデルの種別（例：GAN、VAE）が、合成特徴の品質および最終的な分類精度に与える影響は何か？

主な発見

• 本手法は、CUB、AwA、aP&Y、SUNを含むすべての5つのベンチマークデータセットで最先端の性能を達成し、VGG特徴を用いたCUBでは15%以上の向上を示した。
• 2ホップZSCシナリオにおいて、本手法は最高の既存手法と比較してFlat-Hit@1を5パーセンテージポイント向上させた。
• SUNデータセットでは、VGG-19特徴を用いて88.01%の精度を達成し、MIT Placesで事前学習された特徴を用いた先行SOTA手法を上回った。
• 既知クラスと未知クラスの両方の実際および合成例を用いて学習することで、GZSCにおけるバイアスを顕著に低減し、従来のZSC手法で一般的に見られる意思決定バイアスを回避した。
• 生成された特徴に判別的分類器を適用することで、従来の適合スコアベースのZSC手法よりも優れた性能を達成した。これは、合成データを用いた判別的学習が有効であるという仮説を裏付けた。
• 本手法は、さまざまな生成モデル（例：GAN、VAE、VAE-GAN）に対して一般化が良く、大規模ZSCタスクへのロバストネスとスケーラビリティを示した。