[論文レビュー] Zero-Shot Learning Through Cross-Modal Transfer

Richard Socher, Milind Ganjoo+4 more|arXiv (Cornell University)|Jan 16, 2013

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 805

ひとこと要約

本論文は、未学習クラスの訓練データを一切必要とせず、教師なし単語ベクトルと視覚的特徴埋め込みを活用して、学習済みおよび未学習のオブジェクトカテゴリを分類するゼロショット学習モデルを提案する。テキストから学習された意味的空間に画像をマッピングし、外れ値検出を用いて既知のクラスと未学習クラスを区別することで、学習済みクラスでは最先端の性能（最大80%の正確度）を達成し、未学習クラスでも妥当な性能（30–15%の正確度）を発揮する。手動で定義された属性を一切不要としている。

ABSTRACT

This work introduces a model that can recognize objects in images even if no training data is available for the objects. The only necessary knowledge about the unseen categories comes from unsupervised large text corpora. In our zero-shot framework distributional information in language can be seen as spanning a semantic basis for understanding what objects look like. Most previous zero-shot learning models can only differentiate between unseen classes. In contrast, our model can both obtain state of the art performance on classes that have thousands of training images and obtain reasonable performance on unseen classes. This is achieved by first using outlier detection in the semantic space and then two separate recognition models. Furthermore, our model does not require any manually defined semantic features for either words or images.

研究の動機と目的

• 未学習クラスの訓練画像を一切必要としない視覚的オブジェクトのゼロショット認識を可能にすること。
• 大規模なテキストコーパスからの教師なし単語ベクトルを用いて、視覚的および意味的モダリティを統合すること。
• 学習済みクラスと未学習クラスの分類を、一つの確率的フレームワーク内で統合すること。
• ゼロショット学習において、手動で定義された視覚的または意味的属性の必要性を排除すること。

提案手法

• 画像特徴を学習した深層ニューラルネットワークを用いて、低次元の意味的空間に画像を埋め込む。
• 大規模で教師なしのテキストコーパスから単語ベクトルを学習し、意味的類似性を表現する。
• 学習済みクラスの特徴の分布を、等方的ガウス混合モデルでモデル化する。
• 意味的空間における周辺確率のしきい値による外れ値検出を用いて、テスト画像が学習済みクラスか未学習クラスかを判別する。
• 学習済みクラスについては、元の画像特徴にソフトマックス分類器を適用する。
• 未学習クラスについては、意味的単語ベクトルを中心としたガウス尤度を用いて分類を行う。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット学習において、学習済みクラスでは高い正確度を達成すると同時に、未学習クラスに対しても妥当な性能を発揮できるモデルは存在するか？
• RQ2 教師なし単語ベクトル表現は、ゼロショット視覚認識のためのクロスモーダル転送をどの程度効果的に可能にするか？
• RQ3 意味的空間における外れ値検出は、既知の視覚的カテゴリと未知のカテゴリを信頼性高く分離できるか？
• RQ4 手動による属性設計の欠如が、ゼロショット学習における性能にどの程度の影響を与えるか？
• RQ5 外れ値検出のしきい値を変更した場合、モデルの性能はどのように変化するか？

主な発見

• 最適な外れ値検出しきい値を用いることで、学習済みクラスでは最大80%の正確度を達成する。
• 未学習クラスでは、分類正確度が30%から15%の間で達成され、ランダムチャンス（10%）よりも顕著に高い。
• 未学習クラスが学習済みクラスと意味的および視覚的に類似している場合（例：ネコとトラック）、効果的な転送が可能となり、性能が最も高くなる。
• 未学習クラスが学習済みクラスと意味的および視覚的に著しく異なる場合（例：ネコとイヌ）、性能はランダムに近づく。
• 未学習クラス同士の区別において、最大90%の正確度を達成しており、強力なゼロショット識別能力を示している。