[論文レビュー] Learning Joint Feature Adaptation for Zero-Shot Recognition

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Nov 23, 2016

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 18

ひとこと要約

本稿では、スパースなソースドメイン属性と可変なターゲットドメインインスタンスの間の類似度マッチングを向上させるために、データに依存する特徴変換を学習する、ゼロショット認識のための新規フレームワークであるJoint Feature Adaptation (JFA) を提案する。正則化最小二乗罰則を伴う双線形類似度関数を潜在的構造SVMを用いて最適化することで、aP&Yデータセットにおいて80.89%の最先端性能を達成し、先行研究を11.15%上回った。

ABSTRACT

Zero-shot recognition (ZSR) aims to recognize target-domain data instances of unseen classes based on the models learned from associated pairs of seen-class source and target domain data. One of the key challenges in ZSR is the relative scarcity of source-domain features (e.g. one feature vector per class), which do not fully account for wide variability in target-domain instances. In this paper we propose a novel framework of learning data-dependent feature transforms for scoring similarity between an arbitrary pair of source and target data instances to account for the wide variability in target domain. Our proposed approach is based on optimizing over a parameterized family of local feature displacements that maximize the source-target adaptive similarity functions. Accordingly we propose formulating zero-shot learning (ZSL) using latent structural SVMs to learn our similarity functions from training data. As demonstration we design a specific algorithm under the proposed framework involving bilinear similarity functions and regularized least squares as penalties for feature displacement. We test our approach on several benchmark datasets for ZSR and show significant improvement over the state-of-the-art. For instance, on aP&Y dataset we can achieve 80.89% in terms of recognition accuracy, outperforming the state-of-the-art by 11.15%.

研究の動機と目的

• ターゲットドメインデータのクラス内変動を捉えられないスパースなソースドメイン属性ベクトルの課題に対処する。
• ソースとターゲットインスタンス間の類似度マッチングを向上させるために、適応的かつデータに依存する特徴変換を学習することでゼロショット認識を改善する。
• 潜在的構造SVMとしてのゼロショット学習の定式化により、特徴適応と類似度スコアリングを同時に最適化する。
• 推論時にソースおよびターゲット特徴を精緻化するための変位関数を学習することで、ターゲットドメインデータの広範な変動性に対応する。
• ベンチマークゼロショット認識データセットにおいて、最先端手法に顕著な性能向上を示す。

提案手法

• テスト時推論中に、ソースおよびターゲットドメインの両方の特徴変位を同時に最適化するデータに依存する適応的類似度関数を提案する。
• 適応されたソースおよびターゲット特徴間のクロスドメイン相互作用をモデル化するために、類似度関数を双線形形式でパrameterizeする。
• 特徴変位の大きさを制御するための正則化最小二乗罰則を導入し、安定的で意味のある適応を保証する。
• 教師あり学習済みクラスのデータから、適応的類似度関数のパラメータをエンドツーエンドで学習するため、潜在的構造SVMを用いる。
• 交互最適化を適用することで、制限付きの変位関数族内でグローバルに最適な適応特徴を効率的に計算する。
• 既存のZSLフレームワーク（例：SP-ZSR）にJFAモジュールを統合することで、アーキテクチャの大幅な見直しを伴わずに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クラス内変動を考慮することで、データに依存する特徴適応はゼロショット認識を向上させ得るか？
• RQ2 テスト時にソースおよびターゲット特徴を同時に精緻化する適応的類似度関数をどのように学習できるか？
• RQ3 スパースなソース監視下でのゼロショット学習において、特徴変位罰則を組み込むことで一般化性能が向上するか？
• RQ4 提案されたフレームワークは、標準的および伝達的ゼロショット認識設定の両方で最先端手法を上回るか？
• RQ5 異なるクラス数および属性の複雑さを有する多様なベンチマークデータセットにおいて、適応的類似度関数の性能はどのように比較されるか？

主な発見

• aP&Yデータセットでは、JFAが80.89%のゼロショット認識精度を達成し、前回の最先端手法を11.15%の絶対的差で上回った。
• CUBデータセットでは、JFAは前回のSOTAと比較して4.70ポイントの精度向上を達成し、相対的に11.25%の向上を示した。
• 伝達的設定では、JFAは全ベンチマークデータセットの平均で、最先端手法を2.26%上回った。
• aP&YおよびSUNのような困難なデータセットにおいても、先行手法よりも高い精度と再現率を達成し、aP&Yでは76.41%の精度および77.20%の再現率を記録した。
• 一部のケースで標準偏差が高くなるものの、JFAはすべてのデータセットで一貫して性能を向上させ、データのばらつきに対して頑健であることが示された。
• 提案されたJFAフレームワークは、SP-ZSRのような既存のZSLパイプラインと互換性があり、統合することで顕著な精度向上が達成できる。