[論文レビュー] Zero-Shot Visual Recognition via Bidirectional Latent Embedding

Qian Wang, Ke Chen|arXiv (Cornell University)|Jul 7, 2016

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 9

ひとこと要約

本論文は、局所性を保つ射影を用いて既知クラスのデータから教師あり潜在空間を学習した後、ランドマーク誘導型半教師ありサモンマッピングを用いて未知クラスの意味をこの空間に埋め込む二段階プロセスを通じて、視覚的空間と意味的空間を統合的にモデル化する、ゼロショット視覚認識のための新規な双方向潜在埋め込みフレームワークを提案する。この手法は、4つのベンチマークデータセット（AwA, CUB-200-2011, UCF101, HMDB51）で最先端の性能を達成し、補完的表現学習と構造的埋め込みを通じて意味的・視覚的ギャップを効果的に埋めることで、誘導的および転移的設定の両方で先行手法を顕著に上回る。

ABSTRACT

Zero-shot learning for visual recognition, e.g., object and action recognition, has recently attracted a lot of attention. However, it still remains challenging in bridging the semantic gap between visual features and their underlying semantics and transferring knowledge to semantic categories unseen during learning. Unlike most of the existing zero-shot visual recognition methods, we propose a stagewise bidirectional latent embedding framework to two subsequent learning stages for zero-shot visual recognition. In the bottom-up stage, a latent embedding space is first created by exploring the topological and labeling information underlying training data of known classes via a proper supervised subspace learning algorithm and the latent embedding of training data are used to form landmarks that guide embedding semantics underlying unseen classes into this learned latent space. In the top-down stage, semantic representations of unseen-class labels in a given label vocabulary are then embedded to the same latent space to preserve the semantic relatedness between all different classes via our proposed semi-supervised Sammon mapping with the guidance of landmarks. Thus, the resultant latent embedding space allows for predicting the label of a test instance with a simple nearest-neighbor rule. To evaluate the effectiveness of the proposed framework, we have conducted extensive experiments on four benchmark datasets in object and action recognition, i.e., AwA, CUB-200-2011, UCF101 and HMDB51. The experimental results under comparative studies demonstrate that our proposed approach yields the state-of-the-art performance under inductive and transductive settings.

研究の動機と目的

• ゼロショット視覚認識における視覚特徴とその背後にある意味的解釈の間の恒常的な意味ギャップを解消すること。
• 共有潜在空間における意味的関連性をモデル化することで、既知クラスから未知クラスへの効果的な知識移転を可能にすること。
• 補完的視覚的および意味的表現を共同で学習することで、ゼロショット認識性能を向上させること。
• 誘導的および転移的ゼロショット学習設定の両方をサポートし、優れた一般化性能を示すフレームワークの開発。
• ランドマーク誘導型半教師ありサモンマッピングが、埋め込み中に意味的構造をどのように保持するかを実証すること。

提案手法

• 既知クラスの視覚特徴に対して教師あり局所性を保つ射影（SLPP）を用いて、局所構造とクラスラベルを保ちながら潜在埋め込み空間を構築する。
• 既知クラスの学習データから得られた潜在空間内でランドマークを特定し、未知クラスの意味を埋め込む際にガイドとする。
• 半教師ありサモンマッピングを適用して、未知クラスラベルの意味的表現を同じ潜在空間に埋め込み、クラス間の意味的関係を保持する。
• サモンマッピングにおけるランドマーク誘導型制約を用いて、未知クラスの埋め込みが既知クラスの潜在空間のトポロジーと整合するように保証する。
• 推論には最近傍法を採用し、テストサンプルを共有潜在空間内での埋め込みクラスプロトタイプとの類似度に基づいて分類する。
• C3DやIDTベースのFV記述子など、複数の視覚的表現を補完的表現選択アルゴリズムを用いて統合することで、特徴の多様性と耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2段階の双方向潜在埋め込みフレームワークは、ゼロショット学習における視覚特徴と未知クラスの意味的解釈の間の意味ギャップを効果的に埋め合わせることができるか？
• RQ2 ランドマーク誘導型半教師ありサモンマッピングは、埋め込み中に既知クラスと未知クラスの間の意味的関係をどの程度正確に保持できるか？
• RQ3 補完的視覚的表現の併用は、標準ベンチマーク上でのゼロショット認識性能をどの程度向上させるか？
• RQ4 提案フレームワークは、誘導的および転移的ゼロショット学習設定の両方で最先端の性能を達成するか？
• RQ5 物体認識および人間の行動認識などの多様な視覚認識タスクに応用した場合、この手法はどの程度の頑健性を示すか？

主な発見

• 提案された双方向潜在埋め込みフレームワークは、4つのベンチマークデータセット（AwA, CUB-200-2011, UCF101, HMDB51）で最先端の性能を達成した。
• UCF101およびHMDB51では、C3Dと4つのフィッシャー表現ベースのIDT記述子（補完的表現選択アルゴリズムにより選択）の組み合わせが最も高い性能を示し、単一の表現よりも顕著に優れていた。
• 補完的視覚的表現を段階的に追加するにつれて認識精度が一貫して向上し、表現選択プロセスの有効性が裏付けられた。
• ランドマーク誘導型半教師ありサモンマッピングは、クラス間の意味的関連性を効果的に保持しており、単純な最近傍法に基づく正確なゼロショット予測を可能にした。
• フレームワークは誘導的および転移的設定の両方で優れた結果を示し、異なる学習パラダイムへの一般化能力が確認された。
• 広範なアブレーションおよび比較実験により、本手法が精度および耐障害性の面で既存のゼロショット学習手法を上回ることが確認された。