[論文レビュー] Zero-Shot Learning via Joint Latent Similarity Embedding

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Nov 14, 2015

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 14

ひとこと要約

本論文は、共有の潜在空間内で教師あり辞書学習によりクラスに依存しない類似度関数を学習することで、ソース（例：テキスト属性）とターゲット（例：画像）ドメインのインスタンス間の二値マッチング問題として認識を定式化するゼロショット学習フレームワークを提案する。この手法により、4つのベンチマークデータセットでSOTA（最先端）より平均で4.90%の精度向上を達成し、ゼロショットリテンションにおいてはmAPで22.45%の向上を達成した。

ABSTRACT

Zero-shot recognition (ZSR) deals with the problem of predicting class labels for target domain instances based on source domain side information (e.g. attributes) of unseen classes. We formulate ZSR as a binary prediction problem. Our resulting classifier is class-independent. It takes an arbitrary pair of source and target domain instances as input and predicts whether or not they come from the same class, i.e. whether there is a match. We model the posterior probability of a match since it is a sufficient statistic and propose a latent probabilistic model in this context. We develop a joint discriminative learning framework based on dictionary learning to jointly learn the parameters of our model for both domains, which ultimately leads to our class-independent classifier. Many of the existing embedding methods can be viewed as special cases of our probabilistic model. On ZSR our method shows 4.90\% improvement over the state-of-the-art in accuracy averaged across four benchmark datasets. We also adapt ZSR method for zero-shot retrieval and show 22.45\% improvement accordingly in mean average precision (mAP).

研究の動機と目的

• 見出しのクラスを認識する課題に、学習済みクラスからの補助情報を利用することで対処する。
• 従来の方法が明示的なクラス固有のモデリングや属性転送に依存するという限界を克服する。
• 既存のZSL手法を特別なケースとして統合する一般化された確率的フレームワークを構築する。
• 共有の潜在空間における共同ドメインアライメントを通じて、ゼロショット認識およびリテンション性能を向上させる。
• クラス識別に依存しない普遍的な類似度関数を学習することで、未学習クラスへの一般化を可能にする。

提案手法

• ゼロショット認識を二値分類タスクとして定式化する：ソース・ターゲットインスタンスペアが同じクラスに属するかどうかを予測する。
• 潜在確率的フレームワークを用いてマッチの事後確率をモデル化し、ドメイン固有の尤度とクロスドメイン類似度関数に分解する。
• 教師あり辞書学習フレームワークを用いて、ソースドメインおよびターゲットドメインの共同潜在表現を学習し、類似度関数を最適化する。
• テスト時に未学習のソースドメインベクトルおよびターゲットインスタンスの潜在埋め込みを推定し、学習済み類似度関数を用いてすべてのペアをスコア化する。
• 学習済みクラスのデータを用いて、ドメイン固有の尤度と普遍的な類似度関数を判別的に学習する。
• クエリターゲットインスタンスに対する類似度スコアに基づいてソースベクトルをランク付けすることで、認識モデルをゼロショットリテンション用に適応する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット認識は、ソースドメインとターゲットドメインのインスタンス間の二値マッチング問題として効果的に再定式化可能か？
• RQ2 共有の潜在空間でクラスに依存しない類似度関数を学習することで、未学習クラスへの一般化が向上するか？
• RQ3 提案された共同潜在類似度埋め込みモデルは、既存のSOTA手法と比べて認識およびリテンションタスクでどのように性能を発揮するか？
• RQ4 既存のZSL手法は、提案された確率的フレームワークの特別なケースとしてどの程度解釈可能か？
• RQ5 ドメインアライメントおよび埋め込みクラスタリングは、ゼロショット環境下でのリテンション性能にどの程度の影響を及ぼすか？

主な発見

• 提案手法は、4つのベンチマークデータセット（aP&Y、AwA、CUB、SUN-attribute）でSOTAより平均で4.90%の精度向上を達成した。
• ゼロショットリテンションにおいて、SOTA手法SSEと比較して平均mAPが22.45%向上し、mAPは平均53.78%を達成した。
• SSE-INTおよびSSE-ReLUと比較して、mAPでそれぞれ17.45および21.54ポイントの向上を達成した。
• AwAの10クラス中6クラスについて、平均精度が70%を超えており、そのうち6クラスで最高の性能を示した。
• 可視化結果から、『サーベル』のような難しいクラスに対しても、トップ5の結果に正しく画像が検出されており、類似した視覚的パターンに対しても頑健であることが示された。
• モデルの優れた性能は、より良いドメインアライメントと、共同潜在空間におけるより明確な埋め込みクラスタリングに起因している。