[論文レビュー] Semantic Graph-enhanced Visual Network for Zero-shot Learning

Yang Hu, Guihua Wen+6 more|arXiv (Cornell University)|Jun 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 62被引用数 4

ひとこと要約

本稿では、CNNから得られる視覚特徴をGCNを介して知識グラフと統合することで、意味的関係をモデル化するグラフベースの視覚的・意味的エンタングルメントネットワークを提案する。属性語ベクトルを監視信号として用いることで、視覚埋め込みにおける意味的連結性を向上させ、AwA2、CUB、SUNのゼロショット学習性能を向上させる。

ABSTRACT

Zero-shot learning uses semantic attributes to connect the search space of unseen objects. In recent years, although the deep convolutional network brings powerful visual modeling capabilities to the ZSL task, its visual features have severe pattern inertia and lack of representation of semantic relationships, which leads to severe bias and ambiguity. In response to this, we propose the Graph-based Visual-Semantic Entanglement Network to conduct graph modeling of visual features, which is mapped to semantic attributes by using a knowledge graph, it contains several novel designs: 1. it establishes a multi-path entangled network with the convolutional neural network (CNN) and the graph convolutional network (GCN), which input the visual features from CNN to GCN to model the implicit semantic relations, then GCN feedback the graph modeled information to CNN features; 2. it uses attribute word vectors as the target for the graph semantic modeling of GCN, which forms a self-consistent regression for graph modeling and supervise GCN to learn more personalized attribute relations; 3. it fuses and supplements the hierarchical visual-semantic features refined by graph modeling into visual embedding. By promoting the semantic linkage modeling of visual features, our method outperforms state-of-the-art approaches on multiple representative ZSL datasets: AwA2, CUB, and SUN.

研究の動機と目的

• ゼロショット学習（ZSL）で用いられる深層視覚特徴における深刻なパターンインertiaと意味的関係モデリングの欠如を解消すること。
• 知識グラフを用いて意味的関係を明示的にモデリングすることで、視覚特徴表現のバイアスと曖昧さを低減すること。
• グラフモデリングを経て精錬された階層的視覚的・意味的特徴を統合することで、ゼロショット一般化性能を向上させること。
• 語彙ベクトルを用いて視覚特徴と意味的属性の間の自己一貫性のある回帰フレームワークを確立すること。

提案手法

• CNNによる視覚特徴抽出と、視覚特徴間の隠れた意味的関係をモデリングするGCNを接続するマルチパスエンタングルネットワークを設計する。
• CNNで処理された視覚特徴をGCNに供給し、意味的関係を符号化するグラフ構造の特徴表現を学習する。
• 属性語ベクトルをターゲット信号として用いてGCNの学習を監視し、個別化された属性関係学習のための自己一貫性のある回帰を可能にする。
• GCNから得られる階層的視覚的・意味的特徴をCNN特徴に戻して統合・精錬し、豊富な視覚埋め込みを生成する。
• 視覚特徴と意味的属性を結ぶ知識グラフを構築し、構造的な意味的モデリングを可能にする。
• 視覚特徴の質と意味的整合性の両方を最適化するための統合損失を用いて、エンドツーエンドのモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの視覚特徴モデリングは、ゼロショット学習における意味的関係表現を向上させることができるか？
• RQ2 属性語ベクトルを監視信号として用いることで、GCNによる意味的関係学習はどのように向上するか？
• RQ3 CNNとGCNの特徴をエンタングルさせることで、視覚特徴におけるパターンインertiaはどの程度低減されるか？
• RQ4 提案手法は、標準ベンチマークにおいて最先端の手法よりも優れたゼロショット一般化性能を達成するか？

主な発見

• 提案手法はAwA2データセットにおいて最先端の手法を上回り、より高いゼロショット分類精度を達成した。
• CUBデータセットでは、微細な意味的関係をよりよく捉えることで、より強い一般化性能を示した。
• SUNデータセットでも優れた性能を達成し、多様な視覚的・意味的空間にわたる頑健性を示した。
• GCNとCNNの統合に加え、属性監視を組み合わせることで、よりパーソナライズされ、意味的に整合性の高い視覚埋め込みが得られた。
• アブレーションスタディの結果、マルチパスエンタングル、属性監視、特徴統合の各コンポーネントが性能向上に顕著に寄与していることが確認された。
• グラフ構造の知識を用いて意味的関係を明示的にモデリングすることで、特徴の曖昧さとバイアスが低減された。