[論文レビュー] SR-GAN: Semantic Rectifying Generative Adversarial Network for Zero-shot Learning

Zihan Ye, Fan Lyu+4 more|arXiv (Cornell University)|Apr 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 8

ひとこと要約

本稿では、ゼロショット学習のための意味的補正生成対抗ネットワーク（SR-GAN）を提案する。この手法は、意味的特徴を曖昧な空間からより判別性の高い空間に補正することで一般化性能を向上させる。意味的補正ネットワーク（SRN）を用いて意味的特徴を補正し、補正後の意味的特徴から現実的な視覚的特徴を生成するとともに、事前および事後の再構成ネットワークにより一貫性を確保することで、4つのベンチマークデータセットで最先端の性能を達成した。特に、見慣れないクラスの分類精度に顕著なバイアスを生じさせない点で、従来手法を顕著に上回った。

ABSTRACT

The existing Zero-Shot learning (ZSL) methods may suffer from the vague class attributes that are highly overlapped for different classes. Unlike these methods that ignore the discrimination among classes, in this paper, we propose to classify unseen image by rectifying the semantic space guided by the visual space. First, we pre-train a Semantic Rectifying Network (SRN) to rectify semantic space with a semantic loss and a rectifying loss. Then, a Semantic Rectifying Generative Adversarial Network (SR-GAN) is built to generate plausible visual feature of unseen class from both semantic feature and rectified semantic feature. To guarantee the effectiveness of rectified semantic features and synthetic visual features, a pre-reconstruction and a post reconstruction networks are proposed, which keep the consistency between visual feature and semantic feature. Experimental results demonstrate that our approach significantly outperforms the state-of-the-arts on four benchmark datasets.

研究の動機と目的

• ゼロショット学習における重複・曖昧な意味的属性が、未学習クラスの正確な分類を妨げるという課題に対処すること。
• 視覚データに従ってガイドされた補正された意味的空間を学習することで、意味的特徴の判別性を向上させること。
• GANベースのフレームワークに再構成制約を組み合わせることで、未学習クラスのためのより現実的で一貫性のある視覚的特徴を生成すること。
• 意味的・視覚的一致性を維持することで、一般化ゼロショット学習（GZSL）における「学習済み／未学習」クラスの精度バイアスを低減すること。

提案手法

• 意味的損失と補正損失を用いて、学習済みの視覚的特徴に従って、元来曖昧な意味的特徴をより判別性の高い空間に変換する意味的補正ネットワーク（SRN）を訓練する。
• 生成対抗ネットワーク（GAN）のディスクライマーを用いて現実性を保証しつつ、元の意味的特徴および補正済み意味的特徴から合成視覚的特徴を生成する意味的補正生成対抗ネットワーク（SR-GAN）を構築する。
• 生成出力から視覚的特徴を再構成することで、生成器が視覚的特徴の正確な分布を学習できるように、事前再構成ネットワークを導入する。
• 合成視覚的特徴を再び意味的空間に変換することで、意味的整合性を維持し、特徴の忠実度を向上させる事後再構成ネットワークを設計する。
• 視覚的空間と意味的空間の間で二重の再構成パスによりサイクル整合性を強制することで、特徴の整合性と一般化性能を向上させる。
• 意味的補正、GAN生成、再構成損失を統合的に最適化することで、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 学習された意味的補正プロセスは、ゼロショット学習における意味的特徴の判別性を向上させ得るか？
• RQ2 生成前に意味的特徴を補正することで、未学習クラスのための合成視覚的特徴の現実性と有用性が向上するか？
• RQ3 事前および事後再構成の一貫性を強制することで、ゼロショット学習における一般化性能がどの程度向上するか？
• RQ4 提案手法は、既存手法と比較して一般化ゼロショット学習（GZSL）における「学習済み／未学習」クラスの精度バイアスを低減するか？
• RQ5 このフレームワークは、多様なゼロショット学習ベンチマークで最先端の性能を達成できるか？

主な発見

• SR-GANは、AWA1、CUB、APY、SUNの4つのベンチマークデータセットで、新たな最先端の性能を達成した。特に、一般化ゼロショット学習（GZSL）において顕著な優位性を示した。
• GZSL設定では、全データセットで最高の調和平均（H）を達成し、AWA1では未学習クラス精度（U）が前人最高より14.71%向上した。
• モデルは「学習済み／未学習」精度バイアスを顕著に低減した。AWA1ではUが最大14.71%向上し、同時に高い学習済みクラス精度（S）を維持しており、より優れた一般化性能を示している。
• アブレーションスタディの結果、SRNおよび再構成ネットワークが不可欠であることが確認された。AWA1ではSRNを除去するとUが1.01%低下し、再構成ネットワークを除去するとさらに性能が劣化した。
• MDSによる可視化により、SRNが意味的空間で重複するクラス（例：ワニ、ネコ、イヌ）を効果的に分離し、判別性を向上させていることが確認された。
• 事後再構成ネットワークにより、合成視覚的特徴が意味的整合性を保ち、意味的表現の整合性が維持されていることが確認された。