[論文レビュー] Simple and effective localized attribute representations for zero-shot learning

Shiqi Yang, Kai Wang+2 more|arXiv (Cornell University)|Jun 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 9

ひとこと要約

本論文は、視覚空間ではなく意味的空間における属性表現の局所化に焦点を当てた、シンプルで効果的なゼロショット学習手法SELARを提案する。属性空間における1x1畳み込み層の特徴マップに対してグローバルマックスプーリング（GMP）を適用することで、CUBおよびAWA2で最先端の性能を達成し、一般化性能が向上し、学習済みクラスへのバイアスが低減される。これは、複雑なアテンションベースの手法を上回る。

ABSTRACT

Zero-shot learning (ZSL) aims to discriminate images from unseen classes by exploiting relations to seen classes via their semantic descriptions. Some recent papers have shown the importance of localized features together with fine-tuning the feature extractor to obtain discriminative and transferable features. However, these methods require complex attention or part detection modules to perform explicit localization in the visual space. In contrast, in this paper we propose localizing representations in the semantic/attribute space, with a simple but effective pipeline where localization is implicit. Focusing on attribute representations, we show that our method obtains state-of-the-art performance on CUB and SUN datasets, and also achieves competitive results on AWA2 dataset, outperforming generally more complex methods with explicit localization in the visual space. Our method can be implemented easily, which can be used as a new baseline for zero shot-learning. In addition, our localized representations are highly interpretable as attribute-specific heatmaps.

研究の動機と目的

• 未学習クラスのためのトレーニング画像が利用できないゼロショット学習の課題に対処すること。
• 一般化ゼロショット学習（GZSL）設定における学習済みクラスへの固有のバイアスを低減すること。
• 視覚空間ではなく意味的空間における属性表現の局所化により、特徴の転移性と識別性を向上させること。
• 空間集約戦略の選択が、局所化された属性表現の性能に与える影響を調査すること。
• 複雑なアテンションベースの手法を上回る、シンプルで解釈可能かつ効果的なゼロショット学習のベースラインを提案すること。

提案手法

• 空間集約（GAPまたはGMP）を意味的空間への特徴投影の前に適用することで、ZSLパイプラインを再構成し、属性空間における暗黙の局所化を可能にする。
• 1x1畳み込み層を用いて視覚的特徴を属性固有の表現空間に投影し、各属性ごとの特徴マップを生成する。
• これらの属性ごとのマップにグローバルマックスプーリング（GMP）を適用し、分類に適したコンパクトで識別性の高いグローバル表現を生成する。
• 複雑なアテンション機構や追加のハイパーパrameterを避けるために、標準的な交差エントロピー損失を用いてモデルを訓練する。
• 微調整あり・なしの両設定をサポートし、未学習クラスへの転移性を強化する。
• 解釈可能な属性固有のヒートマップを生成し、各属性と相関する画像領域を可視化する。

実験結果

リサーチクエスチョン

• RQ1 意味的空間における属性表現の局所化は、視覚空間における局所化よりもゼロショット学習で優れた性能をもたらすか？
• RQ2 グローバルマックスプーリングのようなシンプルな空間集約戦略が、一般化ゼロショット学習で顕著な性能向上をもたらすか？
• RQ3 集約手法の選択（GAP対GMP）が、学習済みクラスと未学習クラスの精度のバランスに与える影響はいかほどか？
• RQ4 明示的なアテンションや部位検出モジュールを備えない手法でも、ゼロショット学習で最先端の結果を達成可能か？
• RQ5 提案手法は、GZSL設定において、学習済みクラスへのバイアスをどの程度低減できるか？

主な発見

• CUBデータセットでは、非微調整設定でトップ1精度88.7%、微調整設定で89.1%を達成し、最先端の性能を記録した。
• AWA2データセットでは、微調整設定で85.6%、非微調整設定で84.9%のトップ1精度を達成し、より複雑な手法を上回った。
• SUNデータセットでは、微調整設定で63.8%、非微調整設定で62.5%のトップ1精度を達成し、優れた一般化性能を示した。
• SELAR-GMPは、SUNを除くすべてのデータセットで、学習済み/未学習精度比（S/U）が最小であり、学習済みクラスへのバイアスが低減されていることを示した。
• 微調整設定下でCUBでは調和平均（H）が75.6、AWA2では72.1を達成し、学習済みクラスと未学習クラスの性能のバランスが優れていた。
• 可視化結果から、属性マップにおける高活性領域が一貫して対応する属性と一致しており、解釈可能性が裏付けられた。