[論文レビュー] Self-Training Ensemble Networks for Zero-Shot Image Recognition.

Meng Ye, Yuhong Guo|arXiv (Cornell University)|May 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 8

ひとこと要約

本論文は、共有の特徴抽出器内で複数のラベル埋め込み表現を活用することで、未学習クラスへの知識伝達を向上させる自己学習アンサンブルネットワークを提案する。反復的に高信頼度の未ラベル付きサンプルに偽ラベルを割り当て、アンサンブルを微調整することで、ドメインシフトを効果的に低減し、標準的なゼロショット学習ベンチマークで最先端の性能を達成する。

ABSTRACT

Despite the advancement of supervised image recognition algorithms, their de- pendence on the availability of labeled data and the rapid expansion of image categories raise the significant challenge of zero-shot learning. Zero-shot learn- ing (ZSL) aims to transfer knowledge from labeled classes into unlabeled classes to reduce human labeling effort. In this paper, we propose a novel self-training ensemble network model to address zero-shot image recognition. The ensemble network is built by learning multiple image classification functions with a shared feature extraction network but different label embedding representations, each of which facilitates information transfer to different subsets of unlabeled classes. A self-training framework is then deployed to iteratively label the most confident images in each unlabeled class with predicted pseudo-labels and update the ensem- ble network with the training data augmented by the pseudo-labels. The proposed model performs training on both labeled and unlabeled data. It can naturally bridge the domain shift problem in visual appearances and be extended to the generalized zero-shot learning scenario. We conduct experiments on multiple standard ZSL datasets and the empirical results demonstrate the efficacy of the proposed model.

研究の動機と目的

• ラベル付きデータが乏しく、新規のカテゴリが急速に出現するゼロショット画像認識の課題に対処すること。
• 既知のクラスから未知のクラスへ知識を転送することで、人的ラベル付け作業を軽減すること。
• 視覚的カテゴリの既知と未知の間のドメインシフトを、特徴およびラベル表現学習の向上により軽減すること。
• テストサンプルが任意のクラス（既知または未知）に属する可能性がある一般化ゼロショット学習設定へモデルを拡張すること。

提案手法

• モデルは、同じ共有特徴抽出器上で学習される、異なるラベル埋め込み表現を持つ分類ヘッドのアンサンブルを採用する。
• 各アンサンブルメンバーは、固有のラベル埋め込みに基づいて画像を分類するため、未知クラスの異なるサブセットへの多様な知識伝達が可能になる。
• 自己学習フレームワークは、未ラベル付きクラスの予測で最も信頼度の高いものに反復的に偽ラベルを割り当てる。
• アンサンブルは、元のラベル付きデータに加えて、新たに偽ラベルが付与された未ラベル付きデータを用いて再訓練され、一般化性能が向上する。
• フレームワークは、既知および未知のクラス間で視覚的特徴と意味的ラベル埋め込みを一致させることで、ドメインシフトを自然に緩和する。
• テストサンプルが任意のクラスから来ても予測可能なようにすることで、一般化ゼロショット学習へ容易に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 共有特徴を持つが、異なるラベル埋め込みを持つ分類器のアンサンブルは、ゼロショット一般化を向上させ得るか？
• RQ2 偽ラベルを用いた自己学習は、未学習の画像カテゴリにおける性能向上にどの程度効果的か？
• RQ3 このモデルは、既知と未知の視覚的クラス間のドメインシフトをどの程度軽減できるか？
• RQ4 提案されたフレームワークは、一般化ゼロショット学習のシナリオに成功裏に拡張可能か？

主な発見

• 提案モデルは、複数の標準ゼロショット学習データセットで最先端の性能を達成した。
• 自己学習メカニズムにより、未ラベルクラスからの高信頼度の偽ラベル付きサンプルを活用することで、認識精度が顕著に向上した。
• 多様なラベル埋め込みを持つアンサンブルにより、未知カテゴリへのより強固で包括的な知識伝達が可能になった。
• 既知および未知のクラス間で視覚的表現と意味的表現を一致させることで、ドメインシフトが効果的に低減された。
• 一般化ゼロショット学習設定へも良好に一般化され、このシナリオで既存手法を上回る性能を発揮した。