[論文レビュー] Generative Multi-Label Zero-Shot Learning

Akshita Gupta, Sanath Narayan+4 more|arXiv (Cornell University)|Jan 27, 2021

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、マルチラベルクラス埋め込みから意味的に整合性のある視覚的特徴を合成するための、クロスレベル特徴統合（CLF）を用いた新しい生成的手法を提案する。属性レベルと特徴レベルの統合を組み合わせることで、CLFはラベル依存関係のモデリングとクラス固有の識別性の両方を向上させ、一般化ZSLおよびゼロショットオブジェクト検出の両方において、NUS-WIDE、Open Images、MS COCOのベンチマークで最先端の性能を達成する。

ABSTRACT

Multi-label zero-shot learning strives to classify images into multiple unseen categories for which no data is available during training. The test samples can additionally contain seen categories in the generalized variant. Existing approaches rely on learning either shared or label-specific attention from the seen classes. Nevertheless, computing reliable attention maps for unseen classes during inference in a multi-label setting is still a challenge. In contrast, state-of-the-art single-label generative adversarial network (GAN) based approaches learn to directly synthesize the class-specific visual features from the corresponding class attribute embeddings. However, synthesizing multi-label features from GANs is still unexplored in the context of zero-shot setting. In this work, we introduce different fusion approaches at the attribute-level, feature-level and cross-level (across attribute and feature-levels) for synthesizing multi-label features from their corresponding multi-label class embedding. To the best of our knowledge, our work is the first to tackle the problem of multi-label feature synthesis in the (generalized) zero-shot setting. Comprehensive experiments are performed on three zero-shot image classification benchmarks: NUS-WIDE, Open Images and MS COCO. Our cross-level fusion-based generative approach outperforms the state-of-the-art on all three datasets. Furthermore, we show the generalization capabilities of our fusion approach in the zero-shot detection task on MS COCO, achieving favorable performance against existing methods. The source code is available at https://github.com/akshitac8/Generative_MLZSL.

研究の動機と目的

• ゼロショット学習において、未学習クラスのための訓練例が存在しない状況下で、未学習クラスの埋め込みからマルチラベル視覚的特徴を合成する課題に対処すること。
• 従来の手法が注意メカニズムや単一ラベル特徴合成に依存しており、マルチラベル設定においてラベル相関関係やクラス固有の詳細を効果的にモデル化できないという限界を克服すること。
• 属性、特徴、クロスレベルの複数のレベルでマルチラベル情報を統合する統一された生成フレームワークを設計し、特徴品質と分類精度を向上させること。
• 提案手法をマルチラベルゼロショット分類およびゼロショットオブジェクト検出の両方で評価し、タスクおよびベンチマークをまたいで汎用性を示すこと。
• 属性と特徴表現のクロスレベル統合を用いた生成的マルチラベルゼロショット学習の新しいSOTAベースラインを確立すること。

提案手法

• 属性レベル統合（ALF）、特徴レベル統合（FLF）、クロスレベル統合（CLF）の3つの統合戦略を提案し、その中でCLFが主たる貢献である。
• 生成対抗ネットワーク（GAN）フレームワークを採用し、生成器がクラス属性埋め込みから視覚的特徴を合成する。CLFはALFとFLFの両方のバイレベルコンテキストを統合する。
• CLFでは、個々のクラス特徴がクラス固有の埋め込みから生成され、その後、グローバル（属性レベル）とローカル（特徴レベル）の表現を組み合わせたバイレベルコンテキスト機構を用いてアテンション処理が行われる。
• クロスレベル統合で得られた強化された特徴に対してプーリング操作を適用し、分類または検出のための最終的なマルチラベル視覚的特徴表現を生成する。
• CLF生成器を、マルチラベル分類用とゼロショットオブジェクト検出用の2つの生成アーキテクチャに適応させ、同じ統合メカニズムを用いる。
• 生成器を、学習済みクラスの特徴の潜在的なデータ分布を学習させることで、未学習クラスの合成特徴が意味的に整合的かつ識別可能になるように訓練する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット学習設定において、マルチラベルクラス属性埋め込みからマルチラベル視覚的特徴を効果的に合成できるか？
• RQ2 注目メカニズムに依存せずに、複数の同時に出現するクラス間のラベル依存関係を特徴合成段階でどのようにモデリングできるか？
• RQ3 属性レベル統合と特徴レベル統合を組み合わせることで、ゼロショット特徴生成におけるクラス固有の識別性とマルチラベル相関関係モデリングの両方を向上させられるか？
• RQ4 生成的CLFベースのアプローチはゼロショットオブジェクト検出に一般化可能であり、未学習クラスで競争力のある性能を達成できるか？
• RQ5 マルチラベルゼロショット分類および検出において、クロスレベル統合は単独の属性レベル統合や特徴レベル統合よりも効果的か？

主な発見

• 提案されたクロスレベル統合（CLF）アプローチは、一般化ZSLの3つの主要ベンチマーク（NUS-WIDE、Open Images、MS COCO）において、SOTA手法を上回る性能を達成した。
• CLFは、属性レベル統合（ALF）および特徴レベル統合（FLF）の両方を上回り、マルチラベル分類における誤検出を低減し、真陽性を増加させた。
• CLFは、ALFやFLFが見逃したクラス（例：'Sky'、'Clouds'、'Coral'、'Mountains'）を正しく予測し、ラベル相関関係のモデリングが向上したことを示した。
• MS COCOにおけるゼロショットオブジェクト検出でも良好な性能を示し、'snowboard'、'airplane'、'train'、'cat' といった未学習クラスを訓練例なしで正確に検出できた。
• CLFは標準的なマルチラベル分類にも良好に一般化され、大規模ベンチマークで競争力ある性能を示しており、ゼロショット設定を超えた頑健性を示している。
• 定性的な結果から、CLFは誤検出（例：'Snow'、'Town'）を低減し、予測の一貫性を向上させ、バイレベルコンテキスト統合の有効性を確認した。