[論文レビュー] From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis

Yang Long, Li Liu+4 more|arXiv (Cornell University)|May 4, 2017

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 35

ひとこと要約

本稿では、実際の画像を一切使用せずに、意味的属性のみを用いて未学習クラスの高品質な視覚的特徴を生成する、新しいゼロショット学習（ZSL）フレームワークであるUnseen Visual Data Synthesis（UVDS）を提案する。特徴量の分散とトレーニングバイアスをバランスさせるために、拡散正則化（Diffusion Regularisation）を導入することで、ZSLを従来の教師あり分類に変換し、4つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Robust object recognition systems usually rely on powerful feature extraction mechanisms from a large number of real images. However, in many realistic applications, collecting sufficient images for ever-growing new classes is unattainable. In this paper, we propose a new Zero-shot learning (ZSL) framework that can synthesise visual features for unseen classes without acquiring real images. Using the proposed Unseen Visual Data Synthesis (UVDS) algorithm, semantic attributes are effectively utilised as an intermediate clue to synthesise unseen visual features at the training stage. Hereafter, ZSL recognition is converted into the conventional supervised problem, i.e. the synthesised visual features can be straightforwardly fed to typical classifiers such as SVM. On four benchmark datasets, we demonstrate the benefit of using synthesised unseen data. Extensive experimental results suggest that our proposed approach significantly improve the state-of-the-art results.

研究の動機と目的

• 実際のトレーニング画像が存在しない状況で未学習の視覚的クラスを認識する課題に対処すること。
• 従来のZSL手法に見られる構造的差異、トレーニングバイアス、特徴埋め込みにおける分散の低下といった制限を克服すること。
• 未学習クラスの合成視覚的特徴を生成することで、SVMのような従来の教師あり分類器の使用を可能にすること。
• 構造的で分散がバランス取れた特徴合成を通じて、ゼロショット認識における一般化性能を向上させること。

提案手法

• UVDSフレームワークは、潜在的構造を保全する埋め込み空間を用いて、意味的属性から視覚的特徴を合成する。
• 特徴次元ごとの分散をバランスさせるために、直交回転問題を解くことで実現される、新しい拡散正則化（DR）コンponentを導入する。
• 既存クラスと未学習クラスの間の構造的乖離とトレーニングバイアスを低減するように、埋め込みプロセスを最適化する。
• グローバル正則化と拡散正則化を組み合わせた正則化回帰アプローチを用い、特徴学習の安定性を高める。
• 合成された特徴は最近傍法分類とSVMを用いて評価され、標準的な教師あり学習パイプラインとの互換性を示した。
• フレームワークはクラスレベルおよび画像レベルの属性設定の両方で評価され、あらゆるシナリオにおいて高いロバスト性を示した。

実験結果

リサーチクエスチョン

• RQ1 実際の画像が存在しない状況で、意味的属性のみを用いて未学習クラスの視覚的特徴を効果的に合成できるか？
• RQ2 ゼロショット学習における一般化性能を向上させるために、特徴埋め込み空間における分散の低下をどのように軽減できるか？
• RQ3 提案された拡散正則化は、ベースラインの回帰手法と比較して、どの程度トレーニングバイアスを低減し、性能を向上させるか？
• RQ4 合成された視覚的特徴は、SVMのような従来の教師あり分類器で効果的に使用できるか？

主な発見

• UVDSは4つのベンチマークデータセットにおいて、最先端のZSL手法を顕著に上回り、最高の認識率を達成した。
• 提案された拡散正則化は、特徴次元ごとの分散を効果的にバランスさせ、合成された特徴がより情報量が多く、より強固であることを示した。
• 正則化なしの線形回帰と比較して、平均で30％のトレーニングバイアス低減が達成され、既存クラスから未学習クラスへの一般化性能が向上した。
• CUBデータセットでは45.72％の認識率を達成し、細粒度認識タスクにおいても強力な性能を示した。
• クラスレベルおよび画像レベルの属性設定の両方で、性能に顕著な差がなく、安定した性能を発揮した。
• 定性的な結果から、合成特徴を用いた最近傍検索が、80％の成功確率で同じクラスの実画像を正しく再構成した。これは、特徴の質の高さを裏付けるものである。