[論文レビュー] Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification

Sanath Narayan, Akshita Gupta+3 more|arXiv (Cornell University)|Mar 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 33

ひとこと要約

TF-VAEGANを提案する。セマンティック埋め込みデコーダとフィードバックループを備えたVAE-GANフレームワークで、(G)ZSLの画像と動画に対する訓練・合成・分類の全段階で意味的一貫性を保証し、複数のベンチマークで最先端の結果を達成する。

ABSTRACT

Zero-shot learning strives to classify unseen categories for which no data is available during training. In the generalized variant, the test samples can further belong to seen or unseen categories. The state-of-the-art relies on Generative Adversarial Networks that synthesize unseen class features by leveraging class-specific semantic embeddings. During training, they generate semantically consistent features, but discard this constraint during feature synthesis and classification. We propose to enforce semantic consistency at all stages of (generalized) zero-shot learning: training, feature synthesis and classification. We first introduce a feedback loop, from a semantic embedding decoder, that iteratively refines the generated features during both the training and feature synthesis stages. The synthesized features together with their corresponding latent embeddings from the decoder are then transformed into discriminative features and utilized during classification to reduce ambiguities among categories. Experiments on (generalized) zero-shot object and action classification reveal the benefit of semantic consistency and iterative feedback, outperforming existing methods on six zero-shot learning benchmarks. Source code at https://github.com/akshitac8/tfvaegan.

研究の動機と目的

• 訓練・合成・分類のすべての段階で意味的一貫性を保証することにより、ゼロショットおよび一般化ゼロショット分類を改善する。
• 合成および分類時にセマンティック埋め込みを再構成し、フィードバックを提供するセマンティック埋め込みデコーダー（SED）を活用する。
• VAE-GANフレームワーク内で合成特徴を反復的に改良するフィードバックモジュールを導入する。
• SEDからの潜在埋め込みを利用して分類時の識別的特徴変換を強化する。
• 画像の標準ZSL/GZSLベンチマークおよび動画のゼロショットアクション認識における改善を示す。

提案手法

• conditional generatorとVAE encoderを用いて未知クラス特徴を合成するため、f-VAEGANバックボーン上にTF-VAEGANを構築する。
• 機能特徴から埋め込みを再構成し、訓練時に埋め込みのサイクル整合性を強制するSEDを導入する（L_R）。
• デコードされた埋め込みを介して生成器の層を調整するフィードバックモジュール（F）を追加し、特徴合成を洗練させる（反復的改良）。
• ZSL/GZSL分類のために視覚特徴とSEDの潜在埋め込みを結合して識別的特徴変換を適用する（f_zsl と f_gzsl）。
• 全体損失L_total = L_vaegan + beta * L_Rで訓練し、L_Rが埋め込みサイクル整合性を強制する；GとFの更新を交互に拡張訓練。
• 一般化ゼロショット学習へフレームワークを拡張し、画像データセット（CUB, FLO, SUN, AWA2）および動画のゼロショットアクションデータセット（HMDB51, UCF101）で評価する。

実験結果

リサーチクエスチョン

• RQ1 (G)ZSLの全段階で意味的一貫性を強制して、合成と識別を改善できるか。
• RQ2 セマンティック埋め込みデコーダーが生成特徴を refinement に有用なフィードバックを提供して、ZSL/GZSLの性能を向上させるか。
• RQ3 SED潜在埋め込みを用いた識別的特徴変換を取り入れることで、ZSL/GZSLにおけるクラス間の曖昧性を低減できるか。
• RQ4 これらのアイデアは動画の一般化ゼロショットアクション認識へ転用可能か。
• RQ5 標準ベンチマークにおいて、提案されたTF-VAEGANの構成要素はベースラインのf-VAEGANおよび他のGANベースのZSL手法と比べてどのように性能を示すか。

主な発見

• TF-VAEGANは、誘導的・転導的設定の両方で4つの標準ZSL/GZSLデータセットにおいてベースラインのf-VAEGANを上回る。
• ZSLでは、CUB, FLO, SUN, AWAの各データセットで、ベースラインおよびいくつかの同時代手法と比較してトップ1精度が高い。
• GZSLでは、TF-VAEGANはハーモニック平均と unseen/seen 精度をデータセット全体で高く、未ラベルデータを活用する転導設定も含む。
• アブレーションにより、FeedbackとT-featureの寄与がベースラインを超える性能改善をもたらすこと、TF-VAEGANがそれらを組み合わせて最良の結果を出すことが示される。
• TF-VAEGANは、f-CLSWGANに組み込んだ場合にも改善を示し、提案した構成要素の一般化可能性を示している。