[論文レビュー] VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning

Wenjia Xu, Yongqin Xian+3 more|arXiv (Cornell University)|Mar 20, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文では、視覚的類似性に基づいて局所的な画像パッチをクラスタリングすることで、人為的属性のラベルが不要な自己教師あり手法である視覚的埋め込みに基づく意味的埋め込み（VGSE）を提案する。この手法は、AWA2で66.7％のZSL精度を達成し、単語埋め込みや人為的属性を上回り、学習された視覚的クラスタとクラス関係モデリングにより優れたゼロショット一般化を実現する。

ABSTRACT

Human-annotated attributes serve as powerful semantic embeddings in zero-shot learning. However, their annotation process is labor-intensive and needs expert supervision. Current unsupervised semantic embeddings, i.e., word embeddings, enable knowledge transfer between classes. However, word embeddings do not always reflect visual similarities and result in inferior zero-shot performance. We propose to discover semantic embeddings containing discriminative visual properties for zero-shot learning, without requiring any human annotation. Our model visually divides a set of images from seen classes into clusters of local image regions according to their visual similarity, and further imposes their class discrimination and semantic relatedness. To associate these clusters with previously unseen classes, we use external knowledge, e.g., word embeddings and propose a novel class relation discovery module. Through quantitative and qualitative evaluation, we demonstrate that our model discovers semantic embeddings that model the visual properties of both seen and unseen classes. Furthermore, we demonstrate on three benchmarks that our visually-grounded semantic embeddings further improve performance over word embeddings across various ZSL models by a large margin.

研究の動機と目的

• ゼロショット学習における人為的属性ラベルの高コストとスケーラビリティの限界を解決すること。
• 人為的監視なしに判別性のある視覚的特徴を捉える意味的埋め込みを発見すること。
• 見出しクラスと未見クラスの両方に共通する視覚的クラスタを学習することで、ゼロショット一般化を向上させること。
• 外部知識と視覚的クラスタリングを用いて、見出しクラスと未見クラス間の意味的関係をモデリングすること。
• 知識の転送を向上させるために、視覚的に根拠付けられ、意味的に意味のある埋め込みを生成すること。

提案手法

• パッチクラスタリング（PC）モジュールは、視覚的類似性に基づいて見出しクラスの局所的画像パッチから視覚的クラスタを学習する。
• 学習されたクラスタ内でのクラス分離性と意味的類似性を強制することで、特徴の品質を向上させる。
• クラス関係（CR）モジュールは、外部知識（例：単語埋め込み）と学習されたクラス関係を用いて、未見クラスの埋め込みを予測する。
• t-SNE可視化を用いて、カテゴリ間でのクラスタ構造と意味的一致性を分析する。
• ユーザー研究を通じて、VGSEのクラスタとk-meansベースラインとの間で視覚的・意味的整合性を評価する。
• フレームワークは、見出しクラスのラベルのみを用いてエンドツーエンドに訓練され、属性ラベルの注釈は一切不要である。

実験結果

リサーチクエスチョン

• RQ1 画像パッチの視覚的クラスタリングは、ゼロショット学習における未見クラスに一般化可能な意味的埋め込みを発見できるか？
• RQ2 学習された視覚的クラスタは、人為的属性では捉えきれない一貫性のある視覚的・意味的特性を含んでいるか？
• RQ3 視覚的に根拠付けられた埋め込みは、非教師あり単語埋め込みや人為的属性を上回るゼロショット分類性能を達成できるか？
• RQ4 発見された埋め込みは、ZSLおよびGZSL設定の両方でクラス間での知識転送がどの程度うまくいくか？
• RQ5 学習されたクラスタは人間の観察者にとって解釈可能で意味的に意味のあるものか？

主な発見

• VGSEはAWA2で66.7％のZSL精度を達成し、人為的属性（62.8％）を上回り、5つのSOTAモデルすべてで単語埋め込みを大きく上回る。
• 本手法は、AWA2、CUB、SUNの3つのベンチマークすべてで、単語埋め込みよりも性能を大幅に向上させる。
• 88.5％のユーザーがVGSEクラスタに一貫性のある視覚的特性があると評価したのに対し、k-meansでは71.5％にとどまり、視覚的整合性の優位性が確認された。
• 87.0％のユーザーがVGSEクラスタが一貫性のある意味的情報を伝えていると評価したのに対し、k-meansでは71.0％であった。これは、より優れた意味的根拠付けを示している。
• クラスタは、毛布の模様、角、檼など、人為的属性ではよく見逃される微細な視覚的特性を発見している。
• 定性的な分析から、クラスタは白い毛やストライプ模様といった共有される視覚的特徴に基づいて、複数のカテゴリの画像をグループ化しており、見出しクラスと未見クラスの両方で成立していることがわかった。