[論文レビュー] Transductive Multi-label Zero-shot Learning

Yanwei Fu, Yongxin Yang+3 more|View|Mar 26, 2015

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 8

ひとこと要約

本論文は、画像を意味的単語空間にマッピングするマルチアウトプット深層回帰と、合成プロトタイプを用いたラベル相関の活用により、写真から意味的単語空間への写像を直接行う、非教師付き多ラベルゼロショット学習のための最初のフレームワークを提案する。トランスダクティブ学習と単語ベクトルの構成的性質を組み合わせることで、F1、ランクイングロス、APの指標において、ベースラインを上回る最先端の性能を達成している。

ABSTRACT

Zero-shot learning has received increasing interest as a means to alleviate the often prohibitive expense of annotating training data for large scale recognition problems. These methods have achieved great success via learning intermediate semantic representations in the form of attributes and more recently, semantic word vectors. However, they have thus far been constrained to the single-label case, in contrast to the growing popularity and importance of more realistic multi-label data. In this paper, for the first time, we investigate and formalise a general framework for multi-label zero-shot learning, addressing the unique challenge therein: how to exploit multi-label correlation at test time with no training data for those classes? In particular, we propose (1) a multi-output deep regression model to project an image into a semantic word space, which explicitly exploits the correlations in the intermediate semantic layer of word vectors; (2) a novel zero-shot learning algorithm for multi-label data that exploits the unique compositionality property of semantic word vector representations; and (3) a transductive learning strategy to enable the regression model learned from seen classes to generalise well to unseen classes. Our zero-shot learning experiments on a number of standard multi-label datasets demonstrate that our method outperforms a variety of baselines.

研究の動機と目的

• 未学習クラスの訓練データが存在しないため、既存の手法がラベル相関をモデル化できない多ラベルゼロショット学習分野における研究の不足に取り組む。
• 未学習クラスの訓練例が存在しないテスト時において、ラベルの共起相関をどのようにモデル化できるかという課題を克服する。
• 単一ラベルから多ラベル認識へのゼロショット学習の一般化を、単語ベクトル空間における意味的構成的性質を活用することで実現する手法を開発する。
• 自己学習によるトランスダクティブな適合戦略を用いて、画像から意味的埋め込みモデルの未学習クラスへの一般化を向上させる。

提案手法

• Raw画像ピクセルを直接スキップグラム単語ベクトルにマッピングする9層のマルチアウトプット深層回帰（Mul-DR）モデルを提案し、意味的次元間の相関を明示的にモデル化する。
• 意味的単語空間におけるすべての可能なラベル組み合わせ（パワー集合）を仮想訓練インスタンスとして合成することで、ラベル相関をエンコードする、新しいゼロショット多ラベル予測（ZS-MLP）アルゴリズムを導入する。
• 2つのアルゴリズムを設計する：意味的空間における最近傍分類を用いる直接的多ラベル予測（DMP）、および未学習テストデータの多様体構造を活用して一般化を向上させるトランスダクティブ多ラベル予測（TraMP）。
• 未学習テストデータに対する予測を繰り返し精緻化することで、Mul-DRモデルをターゲットテスト分布に適応させる自己学習戦略を適用する。
• スキップグラム単語ベクトルを、学習済みクラスと未学習クラスの両方で共通の意味的空間として使用し、未学習クラスの視覚的例がなくてもゼロショット転送を可能にする。
• 単語ベクトルの構成的性質を活用して、未学習クラスの組み合わせに対しても妥当な多ラベル組み合わせを生成する。

実験結果

リサーチクエスチョン

• RQ1 未学習クラスの訓練データが存在しない状況下で、多ラベルゼロショット学習におけるラベル相関を効果的にモデル化できるか？
• RQ2 意味的単語ベクトルの構成的性質を活用することで、独立した単一ラベル予測に比べて、未学習の多ラベル組み合わせへの一般化が向上するか？
• RQ3 未学習テストデータの構造を活用することで、トランスダクティブ学習戦略がゼロショット多ラベル予測の性能を向上させられるか？
• RQ4 テストセット上で自己学習を適用することで、画像から意味的埋め込みモデルの未学習クラスへの一般化が向上するか？

主な発見

• 提案されたTraMPアルゴリズムは、すべての指標でDMPを上回り、特にマイクロF1、ランクイングロス、平均精度（AP）において顕著に優れている。これは、トランスダクティブ多様体学習の利点を示している。
• 自己学習はDMPおよびTraMPの両方の性能を向上させ、Mul-DRモデルをテスト分布に適応させることで、未学習クラスへの一般化が向上することを確認した。
• Mul-DR+TraMPは、複数の標準的多ラベルデータセットで最先端の結果を達成し、DeViSEおよび他のベースラインと比較してF1、ランクイングロス、APで優れているが、IAPCTC-12ではハミングロスを除く。
• DeViSEベースラインは、IAPCTC-12においてF1およびAPの点数が低く、過剰に慎重な予測（大多数のインスタンスに対してラベルを予測しない）によるものであり、明示的な相関モデリングの利点を浮き彫りにしている。
• ラベル組み合わせのパワー集合を網羅的に合成することで、それらの組み合わせの実際の訓練例がなくても、ラベル共起パターンの効果的なモデリングが可能になった。
• 単語ベクトルの構成的性質を活用することで、未学習の多ラベル組み合わせへの一般化が成功しており、特にラベル分布が著しく不均衡であっても効果的であることが実証された。