[論文レビュー] Isometric Propagation Network for Generalized Zero-shot Learning

Lu Liu, Tianyi Zhou+4 more|arXiv (Cornell University)|Feb 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 11

ひとこと要約

本稿では、視覚的空間と意味的空間の間のクラス表現の整合性を、動的で等長的なグラフベースの伝達によって向上させることで、一般化ゼロショット学習のための新規フレームワークである等長伝達ネットワーク（IPN）を提案する。複数のベンチマーク、特に多様な未学習クラスを有する大規模な新規データセットにおいて、最先端の性能を達成する。

ABSTRACT

Zero-shot learning (ZSL) aims to classify images of an unseen class only based on a few attributes describing that class but no access to any training sample. A popular strategy is to learn a mapping between the semantic space of class attributes and the visual space of images based on the seen classes and their data. Thus, an unseen class image can be ideally mapped to its corresponding class attributes. The key challenge is how to align the representations in the two spaces. For most ZSL settings, the attributes for each seen/unseen class are only represented by a vector while the seen-class data provide much more information. Thus, the imbalanced supervision from the semantic and the visual space can make the learned mapping easily overfitting to the seen classes. To resolve this problem, we propose Isometric Propagation Network (IPN), which learns to strengthen the relation between classes within each space and align the class dependency in the two spaces. Specifically, IPN learns to propagate the class representations on an auto-generated graph within each space. In contrast to only aligning the resulted static representation, we regularize the two dynamic propagation procedures to be isometric in terms of the two graphs' edge weights per step by minimizing a consistency loss between them. IPN achieves state-of-the-art performance on three popular ZSL benchmarks. To evaluate the generalization capability of IPN, we further build two larger benchmarks with more diverse unseen classes and demonstrate the advantages of IPN on them.

研究の動機と目的

• 視覚的空間と意味的空間における不均衡な監視によって引き起こされる過学習問題に対処すること。
• 視覚的空間および意味的空間内および間の動的で関係性のある構造を学習することで、未学習クラスへの一般化を向上させること。
• 伝達プロセスにおける等長正則化を用いて、視覚的空間と意味的空間の間の表現の整合性を向上させること。
• 標準的なZSLデータセットを超えて、より大規模で多様なベンチマークにおける一般化を評価すること。

提案手法

• IPNは、クラス関係をモデル化するための学習可能なアテンションモジュールを用いて、視覚的空間および意味的空間の両方でカテゴリーグラフを構築する。
• これらのグラフ上で反復的なメッセージ伝達（伝達）を実行することで、動的にクラスプロトタイプを精緻化する。
• 各伝達ステップにおいて、2つのグラフのアテンション重み付きエッジ分布の間で等長整合性を保つための整合性損失を導入する。
• 学習済みクラスのランダムサブセットを用いたエピソード学習により、グラフモチーフを多様化させ、モデルの耐性を高める。
• 視覚的および意味的両方のプロトタイプを学習し、併せて最適化することで、一般化性能と表現品質を向上させる。
• クロスエントロピー損失と整合性正則化を用いて、エンドツーエンドでモデルを訓練し、学習済みクラスと未学習クラスの性能をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 空間内でのクラス依存関係をモデル化する動的でグラフベースの伝達は、ゼロショット一般化を向上させ得るか？
• RQ2 視覚的空間と意味的空間の両方における伝達ステップに等長整合性を課すことで、より良い整合性と一般化が達成されるか？
• RQ3 より大規模で多様なベンチマークにおいて、IPNはより困難な未学習クラスに対しても強い一般化性能を示すか？
• RQ4 二重プロトタイプとエピソード学習は、モデルの耐性と性能にどのような寄与をしているか？

主な発見

• IPNは、AWA2、CUB、aPYの3つの標準的なZSLベンチマークで最先端の性能を達成し、最高の調和平均精度を記録した。
• 新たに構築されたティアド・ImageNet-Mixedおよびティアド・ImageNet-Segregatedベンチマークにおいても、IPNは最先端の性能を維持し、多様な未学習クラスへの強力な一般化能力を示した。
• アブレーションスタディの結果、単一空間の伝達と比較して、二重伝達により未学習クラスの精度が2–3%向上した一方で、学習済みクラスの性能は維持された。
• 等長整合性を課した整合性損失は、共有アテンションモジュールや無整合性のケースを著しく上回り、学習済みクラスにおける過学習を低減した。
• 視覚的プロトタイプのみを用いたIPNは、意味的プロトタイプのみを用いた場合よりも早く収束した（30エポック）が、これは事前学習済みCNNが安定した視覚的インダクティブバイアスを提供していることを示唆している。
• ハイパーパramータ分析の結果、伝達ステップ数τ=2が最適な性能を示した一方で、重み減衰は非常に感受性が高く、先行するZSL研究と一致した。