[論文レビュー] Visual Space Optimization for Zero-shot Learning

Xinsheng Wang, Shanmin Pang+4 more|arXiv (Cornell University)|Jun 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 7

ひとこと要約

本稿では、学習可能で識別的な視覚プロトタイプを導入し、多層パーセプトロンに基づくフレームワークを用いて視覚特徴の構造を向上させる視覚空間最適化手法を提案する。プロトタイプベースの手法は、クラスの重心を代替する識別的で学習可能なプロトタイプに置き換えることで、GZSLで最先端の性能を達成し、従来手法に比べて一般化性能が著しく向上する。

ABSTRACT

Zero-shot learning, which aims to recognize new categories that are not included in the training set, has gained popularity owing to its potential ability in the real-word applications. Zero-shot learning models rely on learning an embedding space, where both semantic descriptions of classes and visual features of instances can be embedded for nearest neighbor search. Recently, most of the existing works consider the visual space formulated by deep visual features as an ideal choice of the embedding space. However, the discrete distribution of instances in the visual space makes the data structure unremarkable. We argue that optimizing the visual space is crucial as it allows semantic vectors to be embedded into the visual space more effectively. In this work, we propose two strategies to accomplish this purpose. One is the visual prototype based method, which learns a visual prototype for each visual class, so that, in the visual space, a class can be represented by a prototype feature instead of a series of discrete visual features. The other is to optimize the visual feature structure in an intermediate embedding space, and in this method we successfully devise a multilayer perceptron framework based algorithm that is able to learn the common intermediate embedding space and meanwhile to make the visual data structure more distinctive. Through extensive experimental evaluation on four benchmark datasets, we demonstrate that optimizing visual space is beneficial for zero-shot learning. Besides, the proposed prototype based method achieves the new state-of-the-art performance.

研究の動機と目的

• 視覚特徴空間におけるクラス内・クラス間の識別性能が低いという課題に対処すること。
• 埋め込み空間におけるクラス表現の代理として、離散的で識別性の低い視覚特徴の重心を使用するという制限を克服すること。
• 視覚空間の構造最適化とプロトタイプ表現の強化を通じて、ゼロショット学習モデルの一般化能力を向上させること。
• 中間埋め込み空間を共同で学習し、専用の損失関数によってより良い視覚データ構造を強制する柔軟なフレームワークの開発。

提案手法

• 視覚特徴の交差エントロピー損失を用いて、1クラスあたり1つの識別的プロトタイプを学習する視覚プロトタイプベースの手法を提案し、平均視覚特徴重心を置き換える。
• 視覚特徴と意味的ベクトルの両方を共通の中間埋め込み空間にマップする多層パーセプトロン（MLP）フレームワークを導入する。
• 埋め込み空間における視覚特徴の内在的データ構造を強化する構造最適化損失を設計し、より良いクラスタリングと分離を促進する。
• 一致する意味的・視覚的ペアが近づき、不一致ペアが遠ざかるように保証するため、ランク付け損失（単方向または双方向）と構造最適化損失を組み合わせる。
• 双方向ランク付け損失を用いることで、意味的・視覚的埋め込み間の類似性学習を向上させ、共同空間における識別的性能を強化する。
• 交差エントロピー損失、ランク付け損失、構造最適化損失の組み合わせを用いて、エンドツーエンドでモデルを訓練し、プロトタイプ学習と特徴空間幾何構造を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 各クラスに対して識別的プロトタイプを学習することで、平均視覚特徴重心を使用する場合と比較してゼロショット一般化性能が向上するか？
• RQ2 中間埋め込み空間における視覚特徴の内在的構造を最適化することで、ゼロショット学習の性能が向上するか？
• RQ3 標準的なランク付け損失と比較して、提案された構造最適化損失は視覚特徴のクラスタリングと識別性の向上にどの程度寄与するか？
• RQ4 双方向ランク付け損失と単方向ランク付け損失の間で、埋め込み空間の品質向上に寄与する相対的寄与度はどの程度か？
• RQ5 提案された視覚プロトタイプ手法は、ZSLおよび一般化ZSLベンチマークで最先端の性能を達成できるか？

主な発見

• 提案された視覚プロトタイプベースの手法は、ZSLおよび一般化ZSL（GZSL）ベンチマークで新たな最先端性能を達成し、AwA1およびAwA2の両方ですべての先行手法を上回った。
• AwA1およびAwA2データセットでは、視覚プロトタイプベース手法（VPB）が視覚重心ベース手法（VCB）を顕著に上回り、学習可能なプロトタイプが平均重心を上回ることを実証した。
• 構造最適化手法は、特にZSLタスクで強力な性能を示し、改善された視覚データ構造が認識精度の向上に寄与することを示した。
• 双方向ランク付け損失は、単方向ランク付け損失に比べてわずかだが顕著な改善を示し、より現実的なGZSL設定において特に顕著であった。これは、意味的・視覚的埋め込みの整合性が向上したことを示している。
• 構造最適化損失といずれのランク付け損失（単方向または双方向）を組み合わせても優れた性能が得られ、視覚特徴の幾何的構造がZSL成功の鍵要因であることを確認した。
• 4つのベンチマークデータセット（AwA1, AwA2, CUB, SUN）における広範な実験により、提案手法の有効性と一般化能力が裏付けられた。