[論文レビュー] Multi-Head Self-Attention via Vision Transformer for Zero-Shot Learning

Faisal Alamri, Anjan Dutta|arXiv (Cornell University)|Jul 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 23

ひとこと要約

本論文は、物体部のアノテーションを必要とせず、多頭部自己注意機構を活用して判別的な視覚的属性を学習するVision Transformerベースのモデル、ViT-ZSLを提案する。未学習クラスの認識に関連する画像領域を効果的に局在化することで、すべての3つのGZSLベンチマーク（AWA2、CUB、SUN）で最先端の調和平均性能を達成した。

ABSTRACT

Zero-Shot Learning (ZSL) aims to recognise unseen object classes, which are not observed during the training phase. The existing body of works on ZSL mostly relies on pretrained visual features and lacks the explicit attribute localisation mechanism on images. In this work, we propose an attention-based model in the problem settings of ZSL to learn attributes useful for unseen class recognition. Our method uses an attention mechanism adapted from Vision Transformer to capture and learn discriminative attributes by splitting images into small patches. We conduct experiments on three popular ZSL benchmarks (i.e., AWA2, CUB and SUN) and set new state-of-the-art harmonic mean results {on all the three datasets}, which illustrate the effectiveness of our proposed method.

研究の動機と目的

• 事前学習済み視覚特徴に依存する既存のゼロショット学習（ZSL）手法に見られる明示的な属性局在の欠如に対処すること。
• ZSLにおける弱い局所的視覚表現学習の限界を、より強力な注意メカニズムの導入により克服すること。
• 部品レベルのアノテーションやオブジェクト検出を必要とせず、未学習のオブジェクトクラスのゼロショット認識を可能にすること。
• 多頭部自己注意を介した統合的グローバルおよび局所的特徴学習により、Vision TransformerがZSLにおいて実現可能かつ有効であるかを検討すること。
• 注意駆動型特徴学習による視覚的・意味的整合性の向上を通じて、標準的なGZSLベンチマークで最先端の性能を達成すること。

提案手法

• 入力画像を固定サイズのパッチに分割し、Vision Transformerエンコーダの入力トークンとして使用する。
• 多頭部スケーリングドット積分自己注意を適用して、画像パッチ間の関係を計算し、モデルが判別的な局所的およびグローバル特徴に注目できるようにする。
• 学習可能なクラストークンを用いて、パッチ表現を統合された画像レベルの埋め込みに集約する。
• 学習された注意重みを用いて視覚特徴を共有の意味的空間に投影し、学習済みおよび未学習クラスの意味的埋め込みと一致させる。
• コントラスト損失を用いてエンドツーエンドにモデルを訓練し、視覚特徴とそれに対応する意味的埋め込みの類似度を最大化する。
• 自己注意メカニズムを活用して、明示的な教師信号なしに関連する属性を暗黙的に局在化し、未学習クラスへの一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 部品レベルのアノテーションを必要とせず、Vision Transformerベースの多頭部自己注意が、ゼロショット学習における視覚的特徴局在化を改善できるか？
• RQ2 自己注意メカニズムは、未学習クラス認識に向けた局所的およびグローバルな判別的特徴をどれほど効果的に捉えられるか？
• RQ3 提案されたViT-ZSLモデルは、一般化ゼロショット学習（GZSL）設定において、既存の最先端ZSL手法を上回る性能を示すか？
• RQ4 部分的遮蔽や不完全なオブジェクト外観下でも、注意メカニズムがモデルが意味的に関連する画像領域に注目できる程度はどの程度か？
• RQ5 微調整や追加の教師信号なしに、SUNのような多数のオブジェクトクラスを含むデータセットに対しても、モデルは一般化可能か？

主な発見

• AWA2データセットでは、ViT-ZSLが90.02%という新しい調和平均の最先端を達成した。これは、すべての先行手法を上回り、AREN（92.9%の正確度、ただし調和平均では報告されていない）を除いても同様である。
• CUBデータセットでは、未学習クラスの正確度が83.4%で最高を記録し、学習済みクラスでは92.1%で2番目に高い正確度を達成した。その結果、報告済みのすべてのモデルの中で最高の調和平均を達成した。
• SUNデータセットでは、ViT-ZSLが47.9%の最高調和平均を達成し、他のすべてのモデルを顕著に上回った。これは、大規模かつ細分化されたデータセットにおける強力な一般化性能を示している。
• 定性的な注意マップから、モデルが部分的に可視または遮蔽された場合（例：鳥の頭部や上半身のみが可視の画像など）でも、オブジェクトレベルの属性に効果的に注目していることが示された。
• モデルは、意味的属性と関連する文脈的関連領域（例：森、地面、止まり木の構造）に注目するよう学習しており、意味的整合性の向上に寄与している。
• 強力な性能を示す一方で、モデルは依然として学習済みクラスにバイアスを示しており、今後の研究においてトランスductive学習やドメイン適応を用いた性能のバランス改善が求められる。