[論文レビュー] Class label autoencoder for zero-shot learning

Guangfeng Lin, Caixia Fan+3 more|arXiv (Cornell University)|Jan 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 4

ひとこと要約

本稿では、ゼロショット学習のためのクラスラベルオートエンコーダー（CLA）を提案する。CLAは、複数の意味的埋め込み空間を統合し、エンコーダ・デコーダ機構を用いて双方向の特徴量→ラベルおよびラベル→特徴量の投影を強制することで、特徴量とラベルの関係を統一的に扱う。CLAは、特徴量-クラス関係と意味的クラス関係を同時にモデル化することで、ゼロショット分類性能を向上させ、AwA、CUB、Dogs、ImNet-2のデータセットにおいて最先端手法を上回る性能を示した。

ABSTRACT

Existing zero-shot learning (ZSL) methods usually learn a projection function between a feature space and a semantic embedding space(text or attribute space) in the training seen classes or testing unseen classes. However, the projection function cannot be used between the feature space and multi-semantic embedding spaces, which have the diversity characteristic for describing the different semantic information of the same class. To deal with this issue, we present a novel method to ZSL based on learning class label autoencoder (CLA). CLA can not only build a uniform framework for adapting to multi-semantic embedding spaces, but also construct the encoder-decoder mechanism for constraining the bidirectional projection between the feature space and the class label space. Moreover, CLA can jointly consider the relationship of feature classes and the relevance of the semantic classes for improving zero-shot classification. The CLA solution can provide both unseen class labels and the relation of the different classes representation(feature or semantic information) that can encode the intrinsic structure of classes. Extensive experiments demonstrate the CLA outperforms state-of-art methods on four benchmark datasets, which are AwA, CUB, Dogs and ImNet-2.

研究の動機と目的

• 既存のZSL手法が複数の意味的埋め込み空間を同時に効果的に扱えないという限界を解消すること。
• 視覚的特徴量とクラスラベルの間の双方向関係をモデル化することで、ゼロショット学習におけるドメインシフト問題を克服すること。
• 未学習クラスへの一般化を向上させるために、特徴量-クラス関係、意味的クラス関連性、および異空間間相互作用を同時にモデル化すること。
• 多様な意味的表現（例：属性、テキスト埋め込み）に適応しつつ、内在的なクラス構造を保持できる統合フレームワークを提供すること。

提案手法

• 視覚的特徴量とクラスラベルの間の共有表現空間をエンコーダ・デコーダアーキテクチャを用いて学習するクラスラベルオートエンコーダー（CLA）を提案する。
• 双方向プロジェクション機構を導入：特徴量をクラスラベル空間にエンコードし、再び特徴量空間にデコードすることで一貫性を強制する。
• 属性、word2vec、GloVeなどの複数の意味的埋め込み空間を、多意味的統合戦略を用いて統一フレームワークに統合する。
• 学習済みクラスと未学習クラスの間の関係をモデル化することで構造的進化を実現し、関係性に基づくインダクティブバイアスにより一般化性能を向上させる。
• 反復的リファインメントにより最適化を実施し、エンコーダ、デコーダ、クラスラベル表現を同時に更新することで、内在的なクラス構造を符号化する。
• 再構成誤差、構造的一致性、意味的関連性をバランスさせる制約付き目的関数を用いて最適化問題を解く。

実験結果

リサーチクエスチョン

• RQ1 統合的なディープラーニングフレームワークは、ゼロショット学習において複数の意味的埋め込み空間を効果的に統合できるか？
• RQ2 特徴量→ラベルおよびラベル→特徴量の双方向プロジェクションは、ゼロショット分類性能をどのように向上させるか？
• RQ3 クラス構造と意味的関係をモデル化することで、未学習クラスへの一般化はどの程度向上するか？
• RQ4 性能と頑健性の観点から、多意味的統合は単一意味的アプローチに比べてどのように優れるか？

主な発見

• CLAは、AwA、CUB、Dogsデータセットにおいて最先端手法を顕著に上回り、トップ-1およびトップ-5精度で顕著な改善を示した。
• ImNet-2ではわずかだが一貫した改善を示し、大規模かつ多様性の高い環境でも頑健であることを示した。
• CLAにおける多意味的統合は、単一意味的手法に比べて優れた性能を発揮し、異なる意味的表現間の補完的利点を実証した。
• 双方向制約機構は、教師あり意味的空間（例：属性）では構造的進化ほど精度向上に寄与しないが、両者を併用することで不可欠な役割を果たす。
• CUBの属性空間ではDMaPと同等の性能を示し、無教師意味的空間（例：word2vec）ではそれを上回った。これは強力な一般化性能を示している。
• CLAの計算複雑度はO(d³)であり、dは特徴量次元である。複雑な最適化方程式を解くにもかかわらず、スケーラブルである。