[論文レビュー] Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths

Yanan Li, Donghui Wang+3 more|arXiv (Cornell University)|Mar 15, 2017

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本稿では、画像空間および意味的空間の両方における埋め込みの内因的多様体構造を活用することで、視覚的・意味的マッピングと意味的埋め込み空間を共同で最適化する、ゼロショット認識のための新規な二重視覚的・意味的マッピングパス（DMaP）フレームワークを提案する。画像空間と意味的空間における多様体を繰り返し整合させることで、アワ（AwA）で90.49%、ImageNet 2012 1Kでhit@1が38.94%の最先端性能を達成した。これは、より豊富な属性語ベクトルの組み合わせを用いる手法よりも優れている。

ABSTRACT

Zero-shot recognition aims to accurately recognize objects of unseen classes by using a shared visual-semantic mapping between the image feature space and the semantic embedding space. This mapping is learned on training data of seen classes and is expected to have transfer ability to unseen classes. In this paper, we tackle this problem by exploiting the intrinsic relationship between the semantic space manifold and the transfer ability of visual-semantic mapping. We formalize their connection and cast zero-shot recognition as a joint optimization problem. Motivated by this, we propose a novel framework for zero-shot recognition, which contains dual visual-semantic mapping paths. Our analysis shows this framework can not only apply prior semantic knowledge to infer underlying semantic manifold in the image feature space, but also generate optimized semantic embedding space, which can enhance the transfer ability of the visual-semantic mapping to unseen classes. The proposed method is evaluated for zero-shot recognition on four benchmark datasets, achieving outstanding results.

研究の動機と目的

• 未学習クラスの訓練画像が利用できないゼロショット認識の課題に対処すること。
• 意味的埋め込み空間の幾何的構造が視覚的・意味的マッピングの転送性に与える影響を調査すること。
• 視覚的・意味的マッピングと意味的埋め込み空間を共同で最適化することで、ゼロショット認識性能を向上させること。
• 画像空間および意味的空間におけるクラスレベルの多様体を活用し、未学習クラスへの一般化を向上させる手法を開発すること。
• 既存のインダクティブまたはトランスダクティブZSR手法と統合可能で、性能をさらに向上できる汎用性のあるフレームワークを提供すること。

提案手法

• 画像空間 $\mathcal{X}_s$ から標準的意味的空間 $\mathcal{K}_s$ へのパスと、$\mathcal{X}_s$ から洗練された意味的空間 $\tilde{\mathcal{K}}_s$ へのパスを備えた二重パスフレームワークを提案する。
• 学習済みクラスのデータを用いて、$\mathcal{X}_s$ から $\mathcal{K}_s$ への初期マッピング $f_s$ を学習し、視覚的・意味的対応のベースラインを確立する。
• 深層特徴を用いて $\mathcal{X}_s$ からのクラスレベルの多様体を抽出し、同型の意味的空間 $\tilde{\mathcal{K}}_s$ を生成する。
• 繰り返し、$\mathcal{X}_s$ と $\tilde{\mathcal{K}}_s$ の多様体を整合させることで、マッピング $\tilde{f}_s$ と意味的空間 $\tilde{\mathcal{K}}_s$ を洗練する。
• 全プロセスを共同最適化問題として定式化し、未学習クラスへの転送性を向上させる。
• t-SNE可視化と混同行列を用いて、反復処理における多様体整合のダイナミクスと分類性能を分析する。

実験結果

リサーチクエスチョン

• RQ1 意味的埋め込み空間の内因的幾何的構造は、ゼロショット認識における視覚的・意味的マッピングの転送性にどのように影響を与えるか？
• RQ2 画像特徴空間における潜在的クラスレベルの多様体を、より効果的な意味的埋め込み空間の構築に活用できるか？
• RQ3 画像空間と意味的空間間の多様体の整合が、ゼロショット認識性能に与える影響は何か？
• RQ4 洗練された意味的空間と共同で最適化された単純な線形視覚的・意味的マッピングが、最先端の結果を達成できるか？
• RQ5 低品質な意味的埋め込み（例：語彙ベクトル）を用いる場合と、より豊富な属性語ベクトルの組み合わせを用いる場合とを比較したとき、本手法は既存のZSRアプローチと比べてどのように差をつけるか？

主な発見

• 提案されたDMaPフレームワークは、アワ（AwA）データセットで90.49%のゼロショット認識精度を達成し、先行する最先端手法を著しく上回った。
• より困難なImageNet 2012 1Kベンチマークでは、DMaPは語彙ベクトル埋め込みのみを用いても、38.94%のhit@1精度を達成し、属性と語彙ベクトルを組み合わせた表現を用いる手法を上回った。
• 低品質な初期意味的空間（例：語彙ベクトル）であっても、DMaPは、より豊富な属性語ベクトルの組み合わせを用いる手法を上回る性能にまで向上させた。
• 反復的多様体整合プロセスにより、1回の反復でアワ（AwA）におけるチーター分類精度が9%から89%まで79%向上し、意味的空間の洗練が有効であることを示した。
• 混同行列分析から、チンパンジーとゴリラのような視覚的に類似したクラス間の誤分類が、画像と意味的多様体の整合を改善することで減少した。
• フレームワークは汎用的であり、既存のインダクティブZSR手法と柔軟に統合可能で、性能をさらに向上させることができると示された。特に、最適でない埋め込みで初期化された場合でも、優れた結果を示した。