[論文レビュー] Attribute Propagation Network for Graph Zero-shot Learning

Lu Liu, Tianyi Zhou+3 more|arXiv (Cornell University)|Sep 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 8

ひとこと要約

本稿では、クラスグラフ上で段階的学習による属性ベクトルの精錬を可能にする、グラフベースのゼロショット学習フレームワークである属性伝搬ネットワーク（APNet）を提案する。メタラーニングを用いた部分グラフの分析とパrametricな最近傍分類器を統合することで、APNetは最先端の性能を達成し、CUB、AWA1、AWA2といったImageNet由来のデータセットにおいて、未学習クラスの正確性を最大3%向上、Hスコアを3ポイント以上改善した。

ABSTRACT

The goal of zero-shot learning (ZSL) is to train a model to classify samples of classes that were not seen during training. To address this challenging task, most ZSL methods relate unseen test classes to seen(training) classes via a pre-defined set of attributes that can describe all classes in the same semantic space, so the knowledge learned on the training classes can be adapted to unseen classes. In this paper, we aim to optimize the attribute space for ZSL by training a propagation mechanism to refine the semantic attributes of each class based on its neighbors and related classes on a graph of classes. We show that the propagated attributes can produce classifiers for zero-shot classes with significantly improved performance in different ZSL settings. The graph of classes is usually free or very cheap to acquire such as WordNet or ImageNet classes. When the graph is not provided, given pre-defined semantic embeddings of the classes, we can learn a mechanism to generate the graph in an end-to-end manner along with the propagation mechanism. However, this graph-aided technique has not been well-explored in the literature. In this paper, we introduce the attribute propagation network (APNet), which is composed of 1) a graph propagation model generating attribute vector for each class and 2) a parameterized nearest neighbor (NN) classifier categorizing an image to the class with the nearest attribute vector to the image's embedding. For better generalization over unseen classes, different from previous methods, we adopt a meta-learning strategy to train the propagation mechanism and the similarity metric for the NN classifier on multiple sub-graphs, each associated with a classification task over a subset of training classes. In experiments with two zero-shot learning settings and five benchmark datasets, APNet achieves either compelling performance or new state-of-the-art results.

研究の動機と目的

• クラスグラフ上のクラス間関係を活用して、意味的属性ベクトルを精錬することにより、ゼロショット学習の課題に取り組む。
• 多様な部分グラフ上でメタラーニングを用いて伝搬メカニズムと類似度メトリクスを学習することで、未学習クラスへの一般化性能を向上させる。
• グラフが事前に存在しない場合でも、グラフ伝搬メカニズムとゼロショット分類器のエンドツーエンド学習を可能にする。
• 固定で手作業で作成された属性空間の限界を克服し、複雑なクラス関係を捉える能力を向上させる。
• 特にImageNetベースのベンチマークにおいて、一般化ゼロショット学習（GZSL）と標準ZSLの両設定で、強力な性能を発揮する。

提案手法

• APNetは、学習済みまたは事前に定義されたクラスグラフ上での隣接クラスに基づいて、クラス属性ベクトルを更新するグラフ伝搬モデルを採用する。
• パラメトリックな最近傍（NN）分類器を用い、画像のクラスを意味空間における最も近い属性ベクトルによって予測する。
• 複数の部分グラフをサンプリングするメタラーニング戦略により、学習済みの部分クラスセット上で独立した分類タスクを形成する。
• エピソード学習を通じて、伝搬メカニズムと類似度メトリクスを共同最適化し、未学習クラスへの一般化性能を強化する。
• グラフが提供されない場合、クラスの事前定義された意味的埋め込みから、エンドツーエンドでグラフ構造を学習する。
• グラフの隣接行列は、エンドツーエンドで学習されるか、WordNetのような階層的構造を用いて初期化され、ノード間の距離がエッジ重みに影響を与える。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの伝搬を用いてクラス属性ベクトルを精錬することで、ゼロショット分類性能が向上するか？
• RQ2 部分グラフ上でメタラーニングを適用することで、属性伝搬メカニズムの未学習クラスへの一般化性能が向上するか？
• RQ3 事前に定義されたグラフ（例：WordNet）を用いるのと比較して、グラフ構造と伝搬メカニズムをエンドツーエンドで学習することは、どのような差異を生じるか？
• RQ4 学習された類似度メトリクスを有するパラメトリック最近傍分類器は、従来の距離ベース分類器を上回る性能を発揮できるか？
• RQ5 グラフ支援属性精錬は、一般化ゼロショット学習における学習済みクラスの性能低下をどの程度緩和できるか？

主な発見

• APNetは、CUB、AWA1、AWA2を含む5つのベンチマークデータセットにおいて、一般化ゼロショット学習（GZSL）と標準ZSLの両設定で、新たな最先端性能を達成した。
• ImageNet由来のデータセットにおいて、APNetは全体のHスコアを3ポイント以上向上させ、従来手法と比較して未学習クラスの正確性を最大3%向上させた。
• メタラーニングによる訓練戦略により、標準的なミニバッチ学習と比較して、未学習クラスの正確性が2–3%向上し、Hスコアも2–3ポイント向上した。
• エンドツーエンドでのグラフ学習は、WordNetに基づく階層構造を用いる手法を上回り、AWA2では学習済みグラフで54.8%の未学習クラス正確性を達成した（WordNet使用時：55.7%）。両者とも非学習ベースラインを上回った。
• アブレーションスタディの結果、属性伝搬のみでHスコアが1ポイント以上向上したことが確認され、クラス間関係の活用が意味的属性の精錬に有効であることが示された。
• モデルは優れた一般化性能を示し、視覚空間に依存する高バイアスで非i.i.d.特性を示すため、一般化性能が著しく劣るベースライン（DEMやGAFE）を上回った。