[論文レビュー] TransZero++: Cross Attribute-Guided Transformer for Zero-Shot Learning

Shiming Chen, Ziming Hong+7 more|arXiv (Cornell University)|Dec 16, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

TransZero++ は、ゼロショット学習のためのクロス属性ガイドドTransformerネットワークを提案する。二重サブネットワーク（属性から視覚へ、AVT）と（視覚から属性へ、VAT）を用い、意味的協調学習により意味的拡張された視覚埋め込みを学習する。3つの標準的ZSLベンチマークおよびImageNetにおいて最先端の性能を達成し、属性の局在化を精緻化し、視覚的・意味的相互作用を強化する。

ABSTRACT

Zero-shot learning (ZSL) tackles the novel class recognition problem by transferring semantic knowledge from seen classes to unseen ones. Existing attention-based models have struggled to learn inferior region features in a single image by solely using unidirectional attention, which ignore the transferability and discriminative attribute localization of visual features. In this paper, we propose a cross attribute-guided Transformer network, termed TransZero++, to refine visual features and learn accurate attribute localization for semantic-augmented visual embedding representations in ZSL. TransZero++ consists of an attribute$ ightarrow$visual Transformer sub-net (AVT) and a visual$ ightarrow$attribute Transformer sub-net (VAT). Specifically, AVT first takes a feature augmentation encoder to alleviate the cross-dataset problem, and improves the transferability of visual features by reducing the entangled relative geometry relationships among region features. Then, an attribute$ ightarrow$visual decoder is employed to localize the image regions most relevant to each attribute in a given image for attribute-based visual feature representations. Analogously, VAT uses the similar feature augmentation encoder to refine the visual features, which are further applied in visual$ ightarrow$attribute decoder to learn visual-based attribute features. By further introducing semantical collaborative losses, the two attribute-guided transformers teach each other to learn semantic-augmented visual embeddings via semantical collaborative learning. Extensive experiments show that TransZero++ achieves the new state-of-the-art results on three challenging ZSL benchmarks. The codes are available at: \url{https://github.com/shiming-chen/TransZero_pp}.

研究の動機と目的

• 一方向のアテンションによる制限を解消し、転送可能で判別力のある領域特徴を学習できるようにする。
• オブジェクトの属性をキーメンタル知識として明示的に局在化することで、視覚的・意味的相互作用を向上させる。
• 二つのTransformer間の協調学習により、意味的拡張された視覚的埋め込みを学習することで、一般化ZSLにおけるバイアス問題を克服する。
• 属性ベースと視覚ベースの表現をクラスの意味的ベクトルと統合することで、学習済みクラスから未学習クラスへの有効な知識移転を可能にする。

提案手法

• 二重ブランチのTransformerアーキテクチャを提案：属性から視覚へのTransformer（AVT）と視覚から属性へのTransformer（VAT）、それぞれに専用のエンコーダーとデコーダーを備える。
• AVTとVATに特徴拡張エンコーダーを導入し、視覚的特徴の判別能を向上させ、エンタングルドな領域関係を軽減する。
• AVTに属性から視覚へのデコーダー、VATに視覚から属性へのデコーダーを用い、局在化された属性表現と視覚的特徴を学習する。
• 特徴レベルおよび予測レベルの意味的協調損失を適用し、AVTとVAT間での相互知識蒸留を可能にし、意味的拡張された視覚的埋め込みを実現する。
• 学習可能な結合係数 α を用いて、AVTとVATの意味的拡張埋め込みを統合し、補完的情報をバランスさせる。
• 最終的な統合埋め込みを、帰納的ZSL設定下でのゼロショット分類のため、クラスの意味的ベクトルと統合する。

実験結果

リサーチクエスチョン

• RQ1 属性と視覚的特徴の間のクロスアテンション機構は、ZSLにおける属性局在化と判別的特徴学習を向上させることができるか？
• RQ2 二つの補完的Transformer（AVTとVAT）間の意味的協調学習は、視覚的・意味的埋め込みのロバスト性と転送可能性をどのように向上させるか？
• RQ3 属性ベースと視覚ベースの表現の統合は、標準ベンチマークにおけるゼロショット分類精度をどの程度向上させるか？
• RQ4 モデルの性能はハイパーパrameter（例：結合係数 α と損失重み）にどの程度敏感か？最適な設定は何か？

主な発見

• TransZero++ はCUB、SUN、AWA2ベンチマークで新たなSOTA性能を達成し、ゼロショット分類精度に顕著な向上を示した。
• 一般化ZSL設定下で、CUBデータセットではトップ1正解率78.6%、SUNデータセットでは61.8%を達成し、先行手法を上回った。
• 広範なアブレーションスタディの結果、CUBでは α = 0.9、SUNでは α = 0.6 が最適なパフォーマンスをもたらし、AVTの貢献度がより強いことが示された。
• λf_SCL と λp_SCL の小さな値に対してはモデルの性能が比較的安定しているが、λAR と λSC を高すぎると性能が急激に低下し、最適化における重要性が明らかになった。
• AVTとVATの両方で小型のTransformerアーキテクチャ（1層、1ヘッド）を用いることで、中規模のZSLデータセットにおいて過学習が軽減され、より良い一般化性能が得られた。
• 意味的協調学習メカニズムは、特徴の分離性と属性局在化の向上を通じて、視覚的・意味的整合性を効果的に強化していることが実証された。