[論文レビュー] Recovering the Missing Link: Predicting Class-Attribute Associations for Unsupervised Zero-Shot Learning

Ziad Al-Halah, Makarand Tapaswi+1 more|arXiv (Cornell University)|Oct 15, 2016

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 22

ひとこと要約

本論文では、未学習クラスの名前のみを用いて、クラスと属性の関連を自動で予測する、新しい非教師付きゼロショット学習手法CAAPを提案する。共有埋め込み空間における意味的関係を学習することで、手動の監視なしに属性を予測し、AwAおよびaPascal/aYahooデータセットの両方で最先端の性能を達成しており、aPascal/aYahooでは前人を18%以上上回っている。

ABSTRACT

Collecting training images for all visual categories is not only expensive but also impractical. Zero-shot learning (ZSL), especially using attributes, offers a pragmatic solution to this problem. However, at test time most attribute-based methods require a full description of attribute associations for each unseen class. Providing these associations is time consuming and often requires domain specific knowledge. In this work, we aim to carry out attribute-based zero-shot classification in an unsupervised manner. We propose an approach to learn relations that couples class embeddings with their corresponding attributes. Given only the name of an unseen class, the learned relationship model is used to automatically predict the class-attribute associations. Furthermore, our model facilitates transferring attributes across data sets without additional effort. Integrating knowledge from multiple sources results in a significant additional improvement in performance. We evaluate on two public data sets: Animals with Attributes and aPascal/aYahoo. Our approach outperforms state-of-the-art methods in both predicting class-attribute associations and unsupervised ZSL by a large margin.

研究の動機と目的

• ゼロショット学習におけるクラス-属性関連の手動アノテーションの必要性を排除すること。
• 未学習クラスの名前のみを用いて属性を自動で予測すること。
• 追加のラベル付けなしに、データセット間での視覚的属性の転送を可能にすること。
• 複数の意味的関係の共同モデリングを通じて、ゼロショット分類性能を向上させること。
• クラス名と事前学習済みの単語埋め込みのみに依存することで、ユーザーの関与を最小限に抑えること。

提案手法

• 本手法は、マルチリレーションリンク予測フレームワークを用いて、クラス-属性関連を共有埋め込み空間内の意味的関係としてモデル化する。
• クラス名および属性名をベクトルとして表現するために、事前学習済みの単語埋め込み（例：GloVe や Word2Vec）を活用する。
• 微分可能なスコア関数が、埋め込み空間におけるドット積を通じて、クラスと属性の間の関係（例：'has_color'）の尤度を計算する。
• 負例サンプリングとコントラスト損失を用いて、関係予測を最適化するため、エンドツーエンドでモデルを訓練する。
• 属性ベースの関係と階層的関係（例：'has_ancestor'）を含む複数の関係の共同学習をサポートする。
• 学習済みの関係と埋め込みを再利用することで、データセット間でのゼロショット属性転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 手動による属性アノテーションを必要とせずに、未学習クラスのクラス-属性関連を予測できるか？
• RQ2 あるデータセットで学習したモデルが、追加作業なしに別のデータセットのクラスの属性を予測できるか？
• RQ3 属性と階層の両方の意味的関係を共同でモデリングすることで、ゼロショット分類性能が向上するか？
• RQ4 提案手法の性能は、最先端の非教師付きZSLアプローチと比べてどうか？
• RQ5 クラス名のみから、階層的関係（例：先祖）を自動で推論できるか？

主な発見

• CAAPはAwAデータセットで68.6%のゼロショット学習精度を達成し、前人最高水準を8.5%上回った。
• aPascal/aYahooデータセットでは49.0%の精度に達し、次善の手法と比べて著しく18.8%の向上を示した。
• 動物以外のカテゴリ（例：'jetski' や 'carriage'）に対しても、未学習クラスの属性関連を高い正確性で予測できた。
• データセット間での属性転送により、記述語彙が拡大され、より判別力の高い分類器が得られた。
• 階層的先祖関係の予測において、89.8%のmAPを達成し、意味的階層への強い一般化能力を示した。
• 属性関係と階層的関係の共同学習により、属性予測性能が向上し、'has_pattern'では最大2.5%、'feeding_type'では最大2.1%の向上を達成した。