[論文レビュー] Visually Aligned Word Embeddings for Improving Zero-shot Learning

Ruizhi Qiao, Lingqiao Liu+2 more|arXiv (Cornell University)|Jul 18, 2017

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 15

ひとこと要約

本論文は、視覚的特徴と整合性を持つように事前学習済み分散語彙埋め込み（DWEs）を再埋め込みするための視覚的整合語彙埋め込み（VAWE）を提案する。VAWEは三重項損失を用いたニューラルネットワークにより、DWEsを新しい空間に再埋め込みし、その近傍構造を視覚的特徴と一致させる。VAWEは4つのベンチマークデータセットおよび4つのZSL手法において、ゼロショット学習性能を顕著に向上させ、人間がアノテートした属性と同等の性能を達成する一方で、さまざまなZSLフレームワークに一般化可能である。

ABSTRACT

Zero-shot learning (ZSL) highly depends on a good semantic embedding to connect the seen and unseen classes. Recently, distributed word embeddings (DWE) pre-trained from large text corpus have become a popular choice to draw such a connection. Compared with human defined attributes, DWEs are more scalable and easier to obtain. However, they are designed to reflect semantic similarity rather than visual similarity and thus using them in ZSL often leads to inferior performance. To overcome this visual-semantic discrepancy, this work proposes an objective function to re-align the distributed word embeddings with visual information by learning a neural network to map it into a new representation called visually aligned word embedding (VAWE). Thus the neighbourhood structure of VAWEs becomes similar to that in the visual domain. Note that in this work we do not design a ZSL method that projects the visual features and semantic embeddings onto a shared space but just impose a requirement on the structure of the mapped word embeddings. This strategy allows the learned VAWE to generalize to various ZSL methods and visual features. As evaluated via four state-of-the-art ZSL methods on four benchmark datasets, the VAWE exhibit consistent performance improvement.

研究の動機と目的

• 分散語彙埋め込み（DWEs）が意味的類似性を捉えるが視覚的類似性を捉えないという、ゼロショット学習における視覚的・意味的乖離を解消すること。
• 視覚的特徴との共有埋め込み空間を必要とせず、DWEsを視覚的特徴空間と整合させることで、ゼロショット学習性能を向上させること。
• 特定のモデルアーキテクチャに依存しない汎用的手法を開発し、さまざまなZSLアプローチを強化すること。
• 再埋め込みされたDWEsが視覚的整合性を持つ場合、人間がアノテートした属性と同等の性能を達成できることを示すこと。
• 異なる視覚的特徴抽出器およびデータセットに対して、本手法の頑健性と一般化性能を検証すること。

提案手法

• 三重項損失を用いて、事前学習済み語彙埋め込み（例：word2vec）を新しい空間にマップするためのニューラルネットワークを訓練し、意味的に類似した語が視覚ドメイン内で近接するように制約を課す。
• VGG-19 や DeCAF などの深層ネットワークからの平均プーリング特徴を視覚的クラス表現の代理として用い、マッピングのガイドラインとする視覚的シグネチャを活用する。
• アングラ（基準）、ポジティブ（意味的に類似）、ネガティブ（類似でない）語彙埋め込みの三重組みを構築し、ポジティブがアングラに対して視覚空間でネガティブよりも近くなるようにする。
• 三重項損失を用いてエンドツーエンドの学習により、近傍構造における視覚的・意味的乖離を最小化するマッピング関数を学習する。
• 学習済みのVAWEを、訓練および推論時に標準語彙埋め込みをVAWEに置き換えることで、任意のZSL手法に適用する。
• VAWEをある視覚的特徴タイプ（例：DeCAF）で学習し、別のタイプ（例：VGG-19）でテストすることで一般化を評価し、特徴選択に対して頑健であることを示す。

実験結果

リサーチクエスチョン

• RQ1 分散語彙埋め込みにおける視覚的・意味的乖離がゼロショット学習性能を低下させるか？
• RQ2 語彙埋め込みを視覚的に整合された空間にマップする学習手法が、複数の手法およびデータセットでZSL性能を向上させられるか？
• RQ3 視覚的特徴の選択が、学習された視覚的整合語彙埋め込みの品質および一般化性能に与える影響は何か？
• RQ4 VAWEがゼロショット学習において人間がアノテートした属性と同等の性能を達成できるか？
• RQ5 VAWE手法は、さまざまなZSLフレームワークおよび視覚的特徴抽出器に対して一般化可能か？

主な発見

• VAWEは4つのベンチマークデータセット（aPY, AwA, CUB, SUN）および4つの最先端ZSL手法すべてでゼロショット学習性能を向上させた。
• 粗粒度のデータセット（aPY および AwA）では顕著な性能向上が見られ、VGG-19特徴を用いた場合、ESZSLはAwAで76.16％の正確度に到達した。
• ConSEおよびESZSLでは特に顕著な向上が見られ、これらは視覚的・意味的マッピングを直接学習しており、埋め込み品質に最も敏感である。
• VAWEはすべての属性ベースでないZSL手法を上回り、特に粗粒度のデータセットでは最良の属性ベース手法と同等の性能を達成した。
• VAWEは視覚的特徴抽出器の選択に対して良好に一般化される：DeCAF や低レベル特徴でVAWEを学習しても、VGG-19特徴でテストした場合に依然として高い性能を示した。
• 24の実験設定のうち22で性能が向上し、多様な構成において一貫的かつ頑健な向上効果を示した。