[論文レビュー] Discriminative Learning of Latent Features for Zero-Shot Recognition

Yan Li, Junge Zhang+2 more|arXiv (Cornell University)|Mar 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 30

ひとこと要約

本論文は、ゼロショット認識のためのエンドツーエンドのディープラーニングフレームワーク、潜在的判別的特徴（LDF）を提案する。LDFは、判別的な視覚的領域と潜在的意味的属性を同時に学習する。段階的なズームネットワークを用いてオブジェクト中心の領域に注目させるとともに、カテゴリランク損失を用いて判別的な潜在的属性を学習することで、未学習クラスにおける一般化性能が向上し、AwAおよびCUBデータセットで最先端の性能を達成した。

ABSTRACT

Zero-shot learning (ZSL) aims to recognize unseen image categories by learning an embedding space between image and semantic representations. For years, among existing works, it has been the center task to learn the proper mapping matrices aligning the visual and semantic space, whilst the importance to learn discriminative representations for ZSL is ignored. In this work, we retrospect existing methods and demonstrate the necessity to learn discriminative representations for both visual and semantic instances of ZSL. We propose an end-to-end network that is capable of 1) automatically discovering discriminative regions by a zoom network; and 2) learning discriminative semantic representations in an augmented space introduced for both user-defined and latent attributes. Our proposed method is tested extensively on two challenging ZSL datasets, and the experiment results show that the proposed method significantly outperforms state-of-the-art methods.

研究の動機と目的

• 既存のゼロショット学習（ZSL）手法が非判別的な視覚的および意味的表現に依存するという制限を解決すること。
• 手作業で作成されたまたは事前学習済みの画像特徴や人間が定義した属性に依存することを克服し、未学習クラスに対して判別性が不足する可能性を解消すること。
• 視覚的領域の発見と意味的属性の学習を統合的に最適化するフレームワークを導入し、ZSLの一般化性能を向上させること。
• ユーザー定義の属性が共有されているか、網羅的でない場合でも、カテゴリ間で判別的な潜在的属性を学習すること。
• 視覚的および意味的表現のエンドツーエンド学習が、未学習クラスにおける適合性と分類性能を向上させることを実証すること。

提案手法

• 空間的アテンションマップを学習することで、段階的にオブジェクト中心の領域に注目する段階的ズームネットワークを採用し、画像の最も判別的な部分からの特徴抽出を可能にする。
• 潜在的属性学習モジュールを導入し、属性学習をカテゴリランク問題として定式化することで、属性空間におけるクラス間距離を最大化し、クラス内距離を最小化する。
• ユーザー定義属性（UA）と学習された潜在的属性（LA）を組み合わせた拡張された意味的空間を構築し、対照的損失を用いてLA特徴を最適化することで判別性を向上させる。
• 視覚的・意味的適合性、領域発見、属性の判別性をバランスさせる統合損失関数を用いて、モデル全体をエンドツーエンドで訓練する。
• 未学習クラスの予測にはプロトタイプベースの戦略を採用し、ユーザー定義属性と潜在的特徴の関係を用いて潜在的属性プロトタイプを推定する。
• VGG19バックボーンの事前学習済み特徴マップを入力とし、ズームネットワークを中間特徴活性化上で動作させることで、判別的領域を局所化する。

実験結果

リサーチクエスチョン

• RQ1 従来の2段階アプローチと比較して、視覚的および意味的表現のエンドツーエンド学習は、ゼロショット認識性能を向上させるか？
• RQ2 ユーザー定義属性を超えた判別的な潜在的属性を学習することで、未学習クラスにおける一般化性能が向上するか？
• RQ3 ボクセルボックスアノテーションがなくても、段階的ズームネットワークは効果的にオブジェクト中心の領域を特定・注目できるか？
• RQ4 人間がアノテートした属性と比較して、学習された潜在的属性の判別性（クラス間およびクラス内距離の観点から）はどの程度高いか？
• RQ5 視覚的領域発見と潜在的属性学習を同時に最適化することで、視覚的空間と意味的空間の適合性はどの程度向上するか？

主な発見

• 提案されたLDFモデルは、AwAおよびCUBデータセットで最先端の性能を達成し、既存のSOTA手法を顕著に上回った。
• 可視化の結果、潜在的属性特徴（LA）はユーザー定義属性（UA）よりも判別性が高く、LAプロトタイプでは異なるカテゴリ間のコサイン類似度が小さいことが確認された。
• ボクセルボックスアノテーションがなくても、モデルはオブジェクト中心の領域を効果的に発見した。CUBの例では、孤立した部分ではなく、全体の鳥を特定した。
• クジラのようなカテゴリでは、モデルが背景要因（例：水、海）を判別的領域に含め、ユーザー定義属性が環境を記述するのと整合した。
• LA空間はより判別性が高かったが、UAに基づく関係を用いたプロトタイプ推定に偏りがあるため、AwAではLAベースのモデルの性能がUAベースのモデルよりわずかに低かった。
• アブレーションスタディの結果、視覚的領域と潜在的属性の学習を同時に最適化することで、別々に学習する場合よりも高い性能が得られ、エンドツーエンド最適化の有効性が確認された。