[論文レビュー] Multi-Label Zero-Shot Learning via Concept Embedding

Ubai Sandouk, Ke Chen|arXiv (Cornell University)|Jun 1, 2016

Domain Adaptation and Few-Shot Learning参考文献 5被引用数 15

ひとこと要約

本論文は、公開ユーザーのマルチメディアアノテーションから得られるコンセプト埋め込みを用いたマルチラベルゼロショット学習フレームワークを提案する。入力特徴を共有のコンセプト埋め込み空間にマッピングすることにより、学習済みラベルおよび未学習ラベルの分類が可能となり、再訓練なしにオール・オブ・ボキャブラリー外のラベルに対しても対応可能である。画像および音楽トラックデータセットにおいて、最先端の性能を達成した。

ABSTRACT

Zero Shot Learning (ZSL) enables a learning model to classify instances of an unseen class during training. While most research in ZSL focuses on single-label classification, few studies have been done in multi-label ZSL, where an instance is associated with a set of labels simultaneously, due to the difficulty in modeling complex semantics conveyed by a set of labels. In this paper, we propose a novel approach to multi-label ZSL via concept embedding learned from collections of public users' annotations of multimedia. Thanks to concept embedding, multi-label ZSL can be done by efficiently mapping an instance input features onto the concept embedding space in a similar manner used in single-label ZSL. Moreover, our semantic learning model is capable of embedding an out-of-vocabulary label by inferring its meaning from its co-occurring labels. Thus, our approach allows both seen and unseen labels during the concept embedding learning to be used in the aforementioned instance mapping, which makes multi-label ZSL more flexible and suitable for real applications. Experimental results of multi-label ZSL on images and music tracks suggest that our approach outperforms a state-of-the-art multi-label ZSL model and can deal with a scenario involving out-of-vocabulary labels without re-training the semantics learning model.

研究の動機と目的

• 複数のラベルを同時に関連付けるマルチラベルゼロショット学習の課題に対処すること。
• ゼロショット状況下で複数のラベル間の複雑な意味的関係をモデル化する難しさを克服すること。
• 意味的モデルの再訓練なしに、未学習およびオール・オブ・ボキャブラリー外のラベルを効果的に分類可能にする仕組みを提供すること。
• マルチラベル予測のための強固で転送可能なコンセプト埋め込みを学習するために、公開可能なユーザーのアノテーションを活用すること。
• 単一ラベルZSLと同様に埋め込み空間へのマッピングにより、マルチラベルZSLを統一的フレームワークとして扱えるようにすること。

提案手法

• マルチメディアデータの公開ユーザーのアノテーション集まりからコンセプト埋め込みを学習し、コンセプト間の意味的関係を捉える。
• 単一ラベルZSLと同様に、射影関数を用いて入力インスタンス特徴をコンセプト埋め込み空間にマッピングする。
• ユーザーのアノテーションにおけるラベルの共起パターンを活用し、推論時にオール・オブ・ボキャブラリー外のラベルの意味を推定する。
• 学習済みラベルで訓練された意味的モデルを、埋め込み内挿により未学習ラベルへの一般化能力へ拡張する。
• インスタンスごとに複数のラベルを予測するために、コンセプト埋め込み空間における最近傍法またはスコアベース分類を適用する。
• 共有の埋め込み空間を通じた見慣れないラベルと学習済みラベル間の意味的類似度を活用することで、ゼロショット一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが生成したアノテーションから得られるコンセプト埋め込みは、マルチラベルゼロショット学習に有効に機能するか？
• RQ2 本モデルは、学習時に存在しなかった未学習ラベルに対し、どの程度一般化できるか？
• RQ3 再訓練やファインチューニングなしに、オール・オブ・ボキャブラリー外のラベルを処理できるか？
• RQ4 本手法は、既存の最先端モデルを上回る性能を示すか？
• RQ5 ラベルの共起パターンの活用は、レアまたは未学習のラベルの意味を推定するのにどの程度有効か？

主な発見

• 提案手法は、画像および音楽トラックデータセットの両方で、最先端のマルチラベルZSLモデルを上回った。
• コンセプト埋め込み空間における意味的類似度を活用することで、未学習ラベルを有効に分類できた。
• 共起に基づく推論のおかげで、意味的モデルの再訓練なしにオール・オブ・ボキャブラリー外のラベルを効果的に処理できた。
• 公開ユーザーのアノテーションの活用により、最小限の監視で強固でスケーラブルなコンセプト埋め込み学習が可能になった。
• 視覚的および音声的入力を含む多様なデータモダリティにおいて、本フレームワークは強力な性能を維持した。
• 実験的結果から、コンセプト埋め込みがゼロショット状況下での効率的かつ正確なマルチラベル予測を可能にすることが確認された。