[論文レビュー] Zero-Shot Visual Recognition using Semantics-Preserving Adversarial Embedding Networks

Long Chen, Hanwang Zhang+3 more|arXiv (Cornell University)|Dec 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 20

ひとこと要約

本論文は、分類と画像再構成の両方の目的を別々の部分空間に分離することで、未学習クラスの意味的損失を軽減する新しいゼロショット視覚認識フレームワーク、Semantics-Preserving Adversarial Embedding Network (SP-AEN) を提案する。独立した埋め込み間における adversarial training を用いることで、未学習クラスのための重要な意味的特徴を保持し、CUB、AWA、SUN、aPY において、それぞれ 12.2%、9.3%、4.0%、3.6% の絶対的向上を達成し、調和平均精度で最先端の性能を実現した。

ABSTRACT

We propose a novel framework called Semantics-Preserving Adversarial Embedding Network (SP-AEN) for zero-shot visual recognition (ZSL), where test images and their classes are both unseen during training. SP-AEN aims to tackle the inherent problem --- semantic loss --- in the prevailing family of embedding-based ZSL, where some semantics would be discarded during training if they are non-discriminative for training classes, but could become critical for recognizing test classes. Specifically, SP-AEN prevents the semantic loss by introducing an independent visual-to-semantic space embedder which disentangles the semantic space into two subspaces for the two arguably conflicting objectives: classification and reconstruction. Through adversarial learning of the two subspaces, SP-AEN can transfer the semantics from the reconstructive subspace to the discriminative one, accomplishing the improved zero-shot recognition of unseen classes. Comparing with prior works, SP-AEN can not only improve classification but also generate photo-realistic images, demonstrating the effectiveness of semantic preservation. On four popular benchmarks: CUB, AWA, SUN and aPY, SP-AEN considerably outperforms other state-of-the-art methods by an absolute performance difference of 12.2\%, 9.3\%, 4.0\%, and 3.6\% in terms of harmonic mean values

研究の動機と目的

• 学習中に非分類的だが意味的に関連する属性が破棄される、埋め込みベースのゼロショット学習における意味的損失問題に対処すること。
• 視覚的・意味的埋め込みネットワークにおける分類と画像再構成の両方の目的が衝突する問題を解消すること。
• 分類性能を損なわせることなく、再構成部分空間から分類部分空間への効果的な意味的特徴の転送を可能にすること。
• 未学習クラスのための写真のようにリアルな画像を生成しつつ、高いゼロショット認識精度を維持すること。
• 既存クラスと未学習クラスの認識性能のバランスを最適化することで、一般化ゼロショット学習における優れた一般化性能を達成すること。

提案手法

• 分類器とは別々の部分空間で動作する独立した視覚的から意味的へのマッピング関数 F: V → S を導入する。
• 再構成部分空間から画像を再構成する生成器 G: S → V を訓練し、写真のようにリアルな細部を保持する。
• F(x) と E(x) の分布を一致させるために、敵対的ディスクラミネータ D を用い、再構成部分空間から分類部分空間への意味的特徴の転送を可能にする。
• 分類損失、再構成損失、敵対的損失を統合した共同損失関数を最適化することで、複数の目的をバランスさせる。
• AUSUC を主評価指標として用い、バイアス補正付きのキャリブレーションスタッキングルールを適用し、既存クラスと未学習クラスの認識性能のバランスを取る。
• t-SNE 視覚化と属性分散分析により、学習中に破棄された低分散属性（属性分散が小さい）が未学習クラス認識に依然として重要であることを示す。

実験結果

リサーチクエスチョン

• RQ1 従来の ZSL 手法が属性分散の抑制によって失う意味的特徴を、分離された埋め込みアーキテクチャが保持できるか？
• RQ2 独立した分類的埋め込みと再構成的埋め込みの間での敵対的アライメントは、分類精度を損なわせることなく効果的な意味的特徴の転送を可能にするか？
• RQ3 提案されたフレームワークは、未学習クラスのための写真のようにリアルな画像を生成しつつ、ゼロショット認識性能を向上させることができるか？
• RQ4 多様なベンチマークにおいて、SP-AEN は調和平均精度と AUSUC という指標で最先端の手法と比較してどのように性能を発揮するか？
• RQ5 既存クラスと未学習クラスの間で意味的損失が生じた場合、再構成品質はどの程度劣化するか？

主な発見

• SP-AEN は CUB ベンチマークで、従来手法よりも調和平均精度が 12.2% の絶対的向上を達成した。
• AWA データセットでは、最先端のベースラインと比較して、SP-AEN は調和平均精度を 9.3% 向上させた。
• SUN データセットでは 4.0% の絶対的向上、aPY データセットでは 3.6% の向上を達成した。
• アブレーションスタディの結果、敵対的学習が全データセットで調和平均精度を 10% 以上向上させることを確認し、効果的な意味的特徴の転送が実証された。
• AUSUC 曲線の結果、全目的関数を用いて訓練した SP-AEN は、分類損失のみで訓練したモデルよりも一貫して優れており、既存クラスと未学習クラスの認識性能のバランスが取れていることが示された。
• 属性分散が大きいデータセット（例：AWA、aPY）においても、再構成品質が著しく劣化せず、SAE や DirectMap とは異なり高い性能を維持した。