[論文レビュー] Learning where to look: Semantic-Guided Multi-Attention Localization for Zero-Shot Learning.

Yizhe Zhu, Jianwen Xie+3 more|arXiv (Cornell University)|Mar 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 11

ひとこと要約

本論文は、人為的アノテーションを必要とせず、判別的オブジェクト部を自動的に特定する、意味的誘導付きマルチアテンション局在モデルをゼロショット学習のために提案する。埋め込みソフトマックス損失とクラス中心トリプルット損失を統合的に最適化することで、クラス間分散の向上とクラス内compactnessの強化を図り、3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Zero-shot learning extends the conventional object classification to the unseen class recognition by introducing semantic representations of classes. Existing approaches predominantly focus on learning the proper mapping function for visual-semantic embedding, while neglecting the effect of learning discriminative visual features. In this paper, we study the significance of the discriminative region localization. We propose a semantic-guided multi-attention localization model, which automatically discovers the most discriminative parts of objects for zero-shot learning without any human annotations. Our model jointly learns cooperative global and local features from the whole object as well as the detected parts to categorize objects based on semantic descriptions. Moreover, with the joint supervision of embedding softmax loss and class-center triplet loss, the model is encouraged to learn features with high inter-class dispersion and intra-class compactness. Through comprehensive experiments on three widely used zero-shot learning benchmarks, we show the efficacy of the multi-attention localization and our proposed approach improves the state-of-the-art results by a considerable margin.

研究の動機と目的

• 既存のゼロショット学習手法が視覚的・意味的マッピングに注目する一方で、判別的特徴学習を軽視するという限界を是正すること。
• 人為的バウンディングボックスや部品アノテーションを一切必要とせず、未学習クラスの最も判別的なオブジェクト部を自動的に局在化すること。
• 意味的誘導のもとでグローバル特徴とローカル特徴を統合的に学習することで、ゼロショット認識性能を向上させること。
• 両方の損失関数を統合的に最適化することで、クラス間分散を高め、クラス内compactnessを強化し、特徴品質を向上させること。

提案手法

• モデルはマルチアテンション機構を用いて、意味的記述のみを用いて入力画像から判別的オブジェクト部を自動的に局在化する。
• 全画像からのグローバル特徴と、検出された部品からのローカル特徴を統合的に学習することで、表現品質を向上させる。
• 埋め込みソフトマックス損失を用いて、視覚的特徴と意味的埋め込みを一致させる。
• クラス中心トリプルット損失を導入し、特徴空間におけるクラス間分離性とクラス内compactnessを強制する。
• 両方の損失関数からの統合的監視のもとで、エンドツーエンドに訓練することで、判別的特徴学習を最適化する。
• クラスの意味的表現を、アテンション局在化と特徴学習を誘導する監視信号として用いる。

実験結果

リサーチクエスチョン

• RQ1 人為的部品位置アノテーションがなくても、判別的オブジェクト部の自動局在化はゼロショット認識性能の向上に寄与するか？
• RQ2 意味的誘導のもとでグローバル特徴とローカル特徴を統合的に最適化することで、ゼロショット学習における特徴の判別性はどのように向上するか？
• RQ3 埋め込みソフトマックス損失とクラス中心トリプルット損失を組み合わせることで、クラス間分離性とクラス内compactnessはどの程度向上するか？
• RQ4 標準的なゼロショット学習ベンチマークにおいて、本手法は最先端の手法と比較してどのように差をつけるか？

主な発見

• 提案手法は、広く用いられている3つのゼロショット学習ベンチマークで最先端の性能を達成した。
• マルチアテンション局在メカニズムは、人為的アノテーションのない部品を用いても、判別的部品を効果的に特定できた。
• 埋め込みソフトマックス損失とクラス中心トリプルット損失を併用することで、よりcompactなクラス内特徴とより良いクラス間分離が実現した。
• 従来手法と比較して顕著な性能向上を示し、標準的なゼロショット学習データセットにおいて、性能向上が報告された。