[論文レビュー] Generative Adversarial Zero-shot Learning via Knowledge Graphs

Yuxia Geng, Jiaoyan Chen+5 more|arXiv (Cornell University)|Apr 7, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 12

ひとこと要約

本稿では、知識グラフ（KG）を用いた二重ビュー（分類階層と属性付与）を活用し、未学習クラスの特徴合成を向上させる生成的ゼロショット学習フレームワーク、KG-GANを提案する。GNNを用いてKGから意味的に豊かな分類埋め込みを学習し、標準的なGANにより高品質な視覚的特徴を生成することで、追加の正則化なしに最先端の手法を上回り、ZSLにおけるImNet-Aでは39.24%のHit@1、GZSLでは30.60%を達成した。

ABSTRACT

Zero-shot learning (ZSL) is to handle the prediction of those unseen classes that have no labeled training data. Recently, generative methods like Generative Adversarial Networks (GANs) are being widely investigated for ZSL due to their high accuracy, generalization capability and so on. However, the side information of classes used now is limited to text descriptions and attribute annotations, which are in short of semantics of the classes. In this paper, we introduce a new generative ZSL method named KG-GAN by incorporating rich semantics in a knowledge graph (KG) into GANs. Specifically, we build upon Graph Neural Networks and encode KG from two views: class view and attribute view considering the different semantics of KG. With well-learned semantic embeddings for each node (representing a visual category), we leverage GANs to synthesize compelling visual features for unseen classes. According to our evaluation with multiple image classification datasets, KG-GAN can achieve better performance than the state-of-the-art baselines.

研究の動機と目的

• 従来の補助情報（例：テキストや属性）の意味的豊かさに限界があるゼロショット学習（ZSL）の課題に対処すること。
• 知識グラフ（KG）からの構造的・マルチアスペクトな意味的情報を統合することで、ZSLにおける一般化性能と識別能力を向上させること。
• 複雑な正則化やアーキテクチャの変更に依存せずに、KG埋め込みを活用する生成的ZSLフレームワークを構築すること。
• KGからの豊かなクラス意味情報が、高品質な視覚的特徴を生成する際に、巧みに設計された正則化よりも優れていることを実証すること。

提案手法

• 各視覚的カテゴリに対して、分類階層（分類ビュー）と属性付与（属性ビュー）を統合した二重ビュー知識グラフ（KG）を構築する。
• GNNを用いたグラフオートエンコーダーを用い、KGの両ビューから意味的意味のあるノード埋め込みを学習し、クラス名の単語ベクトルで強化する。
• 学習されたKG埋め込みを標準的な生成対抗ネットワーク（GAN）に供給し、未学習クラスの識別的な視覚的特徴を合成する。
• GANをエンドツーエンドで訓練し、KG埋め込みを条件入力として特徴生成をガイドする。
• ZSLおよび一般化ZSL（GZSL）の両設定において、最近傍分類器を用いて生成された特徴の性能を評価する。
• 個々のビュー（分類または属性）からの埋め込みとそれらの組み合わせの性能を比較し、相補性を評価する。

実験結果

リサーチクエスチョン

• RQ1 分類階層と属性の複数の意味的側面を統合した知識グラフは、単一の情報源に依存する補助情報と比較して、ゼロショット学習性能を向上させることができるか？
• RQ2 KGの異なるビュー（分類階層対属性）から学習されたクラス埋め込みは、ZSLにおける特徴合成にどのように寄与するか？
• RQ3 生成的ZSLモデルにおいて、設計された正則化よりも豊かなKGの意味的情報が、特徴生成の有効性を上回るか？
• RQ4 属性ビューと分類ビューの埋め込みは、未学習クラスの識別的特徴を生成する際に、どの程度相補的に機能するか？
• RQ5 KG埋め込みを条件とするシンプルなGANアーキテクチャは、より複雑な正則化を施したGANよりもZSLで優れた性能を発揮できるか？

主な発見

• KG-GANは、ImNet-Aでは39.24%のHit@1、一般化ZSLにおけるImNet-Oでは30.60%を達成し、最先端の手法を上回った。
• 属性ビューのKG埋め込み（GA）のみで、ZSLにおけるImNet-Aで36.82%のHit@1を達成し、分類ビュー埋め込み（GC）の32.95%を上回った。これは、属性情報がより識別的な意味的特徴を提供していることを示している。
• 分類ビューと属性ビューの両方の埋め込み（GC+GA）を組み合わせることで最高の性能が得られ、両者の相補性が確認された。
• 正則化を一切用いないKG-GANが、視覚的ピボットやソウルサンプル正則化などの洗練された正則化を用いるベースラインを上回った。これは、意味的情報が正則化よりも重要であることを示している。
• アブレーションスタディの結果、属性ビューの寄与度が分類ビューを上回っており、特に分類階層のみで区別が困難な類似クラス（例：馬とシマウマ）の細分化分類において顕著であった。