[論文レビュー] Learning the Redundancy-free Features for Generalized Zero-Shot Object Recognition

Zongyan Han, Zhenyong Fu+1 more|arXiv (Cornell University)|Jun 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 13

ひとこと要約

本論文は、一般化ゼロショットオブジェクト認識（GZSL）のための冗長性のない特徴学習手法を提案する。視覚的特徴は、不要な情報を排除しつつ判別的なカテゴリ関係を保持するため、統計的依存性が低減された新しい空間に射影される。本手法は、意味的埋め込みと特徴生成フレームワークの両方と統合することで、4つのベンチマークデータセットで最先端または競争力のある性能を達成する。

ABSTRACT

Zero-shot object recognition or zero-shot learning aims to transfer the object recognition ability among the semantically related categories, such as fine-grained animal or bird species. However, the images of different fine-grained objects tend to merely exhibit subtle differences in appearance, which will severely deteriorate zero-shot object recognition. To reduce the superfluous information in the fine-grained objects, in this paper, we propose to learn the redundancy-free features for generalized zero-shot learning. We achieve our motivation by projecting the original visual features into a new (redundancy-free) feature space and then restricting the statistical dependence between these two feature spaces. Furthermore, we require the projected features to keep and even strengthen the category relationship in the redundancy-free feature space. In this way, we can remove the redundant information from the visual features without losing the discriminative information. We extensively evaluate the performance on four benchmark datasets. The results show that our redundancy-free feature based generalized zero-shot learning (RFF-GZSL) approach can achieve competitive results compared with the state-of-the-arts.

研究の動機と目的

• 細分化されたオブジェクト認識の課題に取り組むこと、特に微細な視覚的差異と共通の背景が性能を低下させるためである。
• 判別的なカテゴリレベルの信号を損なわず、視覚的特徴からの冗長情報を削減すること。
• 既存のGZSL手法、特に意味的埋め込みと特徴生成アプローチと統合可能な柔軟なフレームワークを開発すること。
• カテゴリ関係を強化することで、冗長性のない特徴空間を学習し、一般化性能を向上させること。

提案手法

• 元の視覚的特徴を冗長性のない特徴空間に射影する写像関数を学習し、元の特徴と射影された特徴の間の統計的依存性を最小化する。
• 相互情報量やその他の統計的依存性測定法を用いた依存性低減目的関数を用い、冗長性を除去することを保証する。
• 射影された特徴は、新しい空間におけるカテゴリの判別性を維持または向上させるように最適化される。
• 本手法は、GZSLにおける意味的埋め込みおよび特徴生成フレームワークの両方と互換性を持つ。
• 未学習クラスの特徴を合成するために、冗長性のない空間で複合的特徴生成器を採用する。
• 依存性低減と分類損失の組み合わせを用いて、エンドツーエンドで訓練することで、冗長性除去と精度のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 視覚的特徴から冗長情報を除去することで、一般化ゼロショット学習における性能が向上するか？
• RQ2 冗長性のない特徴学習は、細分化されたデータセットにおけるGZSLモデルの一般化性能にどのように影響するか？
• RQ3 提案手法は、意味的埋め込みと特徴生成フレームワークの両方と効果的に統合可能か？
• RQ4 学習された冗長性のない特徴空間は、元の視覚的特徴と比較して、未学習クラスの特徴をより良く分離するか？
• RQ5 冗長性のない特徴は、画像検索と特徴分布の質にどのような影響を及えるか？

主な発見

• 提案された冗長性のない特徴手法は、GZSL設定における従来の意味的埋め込みモデルの性能を顕著に向上させ、AWAおよびFLOではSJEと比較して最大15%の向上を達成する。
• 特徴生成と統合した場合、4つのベンチマークデータセットのうち2つで最先端の結果を達成し、残りの2つでも競争力のある結果を示す。
• t-SNEを用いた可視化により、ブルーホエール、シロナガスクジラ、アザラシ、イルカなどの未学習クラスについて、元の視覚的空間と比較して、冗長性のない特徴空間ではより明確に分離されたクラスタが得られることを示した。
• 画像検索の結果、CUBデータセットにおいて、f-CLSWGANから得られた特徴と比較して、冗長性のない空間で生成された特徴は、トップ5検索結果においてより高い正確性を示した。
• 冗長性のない特徴空間の異なる次元においても、強固な性能を維持しており、特に1,024次元で最適な結果が得られた。
• 元の特徴と射影された特徴の間の統計的依存性の低減は、共通の背景などの不要なコンテンツを効果的に除去する一方で、微細分類に必要な判別的手がかりを保持している。