[論文レビュー] Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs

Xiaolong Wang, Yufei Ye+1 more|arXiv (Cornell University)|Mar 21, 2018

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 32

ひとこと要約

本論文は、グラフ畳み込みネットワーク（GCN）を用いて、意味的埋め込みと知識グラフの両方を活用する、未学習カテゴリの視覚的分類器を予測する画期的なゼロショット認識フレームワークを提案する。GCNを用いて知識グラフ上で情報を伝搬させることで、ImageNetの2ホップ設定において、最先端手法よりも相対的に20.9%の向上を達成し、ノイズの多いグラフに対しても頑健であり、ゼロショット一般化性能に顕著な向上を示した。

ABSTRACT

We consider the problem of zero-shot recognition: learning a visual classifier for a category with zero training examples, just using the word embedding of the category and its relationship to other categories, which visual data are provided. The key to dealing with the unfamiliar or novel category is to transfer knowledge obtained from familiar classes to describe the unfamiliar class. In this paper, we build upon the recently introduced Graph Convolutional Network (GCN) and propose an approach that uses both semantic embeddings and the categorical relationships to predict the classifiers. Given a learned knowledge graph (KG), our approach takes as input semantic embeddings for each node (representing visual category). After a series of graph convolutions, we predict the visual classifier for each category. During training, the visual classifiers for a few categories are given to learn the GCN parameters. At test time, these filters are used to predict the visual classifiers of unseen categories. We show that our approach is robust to noise in the KG. More importantly, our approach provides significant improvement in performance compared to the current state-of-the-art results (from 2 ~ 3% on some metrics to whopping 20% on a few).

研究の動機と目的

• 訓練例のない新しい視覚的カテゴリを認識する課題に対処すること。
• 知識グラフからの明示的な関係的知識を組み込むことで、純粋に意味的埋め込みに依存する手法の限界を克服すること。
• カテゴリ間の構造的関係を活用して、既知のクラスから未知のクラスへ知識を転移させることで、ゼロショット一般化性能を向上させること。
• ノイズを含む知識グラフに対しても頑健でありながら、ゼロショット認識ベンチマークで高い性能を維持することを示すこと。
• 標準的および一般化ゼロショット学習設定の両方で最先端の性能を達成すること。

提案手法

• 各ノードが視覚的カテゴリを表し、エッジが意味的またはカテゴリ的関係を符号化する知識グラフを構築する。
• ノードの入力特徴として、事前学習済みの単語埋め込み（例：GloVe）を用いる。
• 複数層にわたる情報の伝搬と集約を実現するため、6層の深層グラフ畳み込みネットワーク（GCN）を適用する。
• ネットワークパラメータの最適化のために、一部の既知カテゴリの視覚的分類器を用いてGCNを学習する。
• 推論時、訓練済みのGCNを用いて、単に意味的埋め込みとグラフ接続に基づいて、未知カテゴリの視覚的分類器を予測する。
• 標準ゼロショット（テスト時にのみ未知クラス）および一般化ゼロショット（テスト時に既知・未知クラスの両方が存在）の両設定をサポートする。

実験結果

リサーチクエスチョン

• RQ1 意味的埋め込みを超える構造的関係的インダクティブバイアスを提供する知識グラフは、ゼロショット認識を向上させ得るか？
• RQ2 ノイズが存在する中でも、知識グラフのサイズと複雑さが増すに従い、ゼロショット認識の性能はどのように変化するか？
• RQ3 単語埋め込みから視覚的特徴への直接マッピングと比較して、GCNベースのメッセージパッシング機構は一般化性能をどの程度向上させるか？
• RQ4 テスト時に既知および未知クラスが共に存在する一般化ゼロショット学習設定において、本手法の性能はいかがであるか？
• RQ5 単語埋め込みのソースの変化に対して本手法は頑健であるか。また、単一の単語埋め込みに依存するモデルと比較して優れているか？

主な発見

• 本手法は、ImageNetの2ホップゼロショット設定において、トップ1正解率62.4%を達成し、前人最高の43.7%から18.7%の絶対的向上を示した。
• 2ホップ設定において、最先端手法EXEMを上回る20.9%のトップ5正解率の向上を達成し、顕著な性能向上を示した。
• GloVe、FastText、word2vecといった異なる単語埋め込みソースに対しても、安定した性能を維持しており、埋め込みソースの変動に対して頑健であることが示された。
• 一般化ゼロショット設定では、ConSE や DeViSE といったベースラインと比較して、全メトリクス・全データセットで性能がほぼ2倍にまで向上した。
• バックボーンネットワークをInception-v1からResNet-50に切り替えた際も、一貫した性能向上が得られ、本手法のスケーラビリティを裏付けた。
• 可視化結果から、本手法は「オキアプ」などの未知カテゴリを高い信頼度で正しく予測している一方で、ベースライン手法は既知クラスに偏った予測を示していることが明らかになった。