[論文レビュー] Generalized Continual Zero-Shot Learning

Chandan Gautam, Sethupathy Parameswaran+2 more|arXiv (Cornell University)|Nov 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 10

ひとこと要約

本論文は、時間の経過に伴い逐次的に未学習のクラスを学習可能でありながら、過去のタスクからの知識を保持できる一般化された継続的ゼロショット学習（CZSL）フレームワークを提案する。条件付きVAE（CVAE）とCADA-VAEを経験再利用と知識蒸留と組み合わせることで、小規模なエピソードメモリに1〜3サンプル/クラスのみを用いても、5つのZSLベンチマークでクラスインクリメンタルおよび非インクリメンタル設定の両方でベースラインを上回る強固な性能を達成する。

ABSTRACT

Recently, zero-shot learning (ZSL) emerged as an exciting topic and attracted a lot of attention. ZSL aims to classify unseen classes by transferring the knowledge from seen classes to unseen classes based on the class description. Despite showing promising performance, ZSL approaches assume that the training samples from all seen classes are available during the training, which is practically not feasible. To address this issue, we propose a more generalized and practical setup for ZSL, i.e., continual ZSL (CZSL), where classes arrive sequentially in the form of a task and it actively learns from the changing environment by leveraging the past experience. Further, to enhance the reliability, we develop CZSL for a single head continual learning setting where task identity is revealed during the training process but not during the testing. To avoid catastrophic forgetting and intransigence, we use knowledge distillation and storing and replay the few samples from previous tasks using a small episodic memory. We develop baselines and evaluate generalized CZSL on five ZSL benchmark datasets for two different settings of continual learning: with and without class incremental. Moreover, CZSL is developed for two types of variational autoencoders, which generates two types of features for classification: (i) generated features at output space and (ii) generated discriminative features at the latent space. The experimental results clearly indicate the single head CZSL is more generalizable and suitable for practical applications.

研究の動機と目的

• 学習中にすべての既視クラスが利用可能であると仮定する従来のゼロショット学習（ZSL）の限界を克服し、ストリーミングデータからの継続的学習を可能にする。
• クラスが逐次的に到着する現実的で一般化されたCZSL設定を開発し、過去の知識を忘れないように学習するモデルを構築する。
• タスクに依存しない予測を実行する単一ヘッドCZSL手法を設計し、実世界への適用に適していることを実証する。
• 本手法の性能を、クラスインクリメンタル学習ありおよびなしの2つの継続的学習設定で評価する。
• CZSLにおける実サンプル再利用と合成特徴再利用の有効性を調査する。

提案手法

• 本手法は2種類の変分オートエンコーダーの変種を用いる：出力空間における視覚的特徴の生成に条件付きVAE（CVAE）を、潜在空間における判別的特徴の生成にCADA-VAEを用いる。
• 経験再利用は、過去のタスクからの実サンプルを格納する小規模なエピソードメモリを用いて実装され、トレーニング中のデータ依存性正則化を可能にする。
• 災害的忘却を軽減するために知識蒸留が適用され、以前に学習したタスクの性能が保持される。
• エピソードメモリの構築にリザボア・サンプリング戦略が用いられ、格納されたサンプルの多様性と代表性が保証される。
• モデルは単一ヘッド設定でトレーニングされ、推論時にはタスクIDの入力を必要としないため、実世界への適用性が向上する。
• フレームワークは2つの設定で評価される：(1) クラスインクリメンタル学習なしの一般化CZSL、および (2) 標準ZSLと同一のトレーニング・テスト分割を用いたクラスインクリメンタルCZSL。

実験結果

リサーチクエスチョン

• RQ1 継続的ゼロショット学習において、実サンプルを用いた経験再利用と合成特徴再利用の性能はどのように比較されるか？
• RQ2 単一ヘッドCZSLモデルは、逐次的なタスク学習において、既視クラスと未学習クラスの両方で高い性能を維持できるか？
• RQ3 エピソードメモリに格納するクラスごとの最適なサンプル数は何か？これはCZSLにおける信頼性のある継続的学習に不可欠である。
• RQ4 潜在特徴の次元数がCZSLモデルの一般化性能とロバストネスに与える影響は何か？
• RQ5 標準ベンチマークデータセットにおいて、提案手法の一般化性能はオフラインZSLベースラインと比較してどの程度優れているか？

主な発見

• エピソードメモリに1〜3サンプル/クラスのみを用いた経験再利用を組み合わせた本手法は、ベースライン手法を顕著に上回り、エピソードメモリに3サンプル/クラスを用いることで未学習精度が10%以上向上する。
• CZSL-CA+resはCUBデータセットにおいて強力な性能を示し、一般化CZSL設定-1においてタスク数が増加するにつれて調和平均精度が向上する傾向を示しており、知識の効果的保持が裏付けられている。
• 最小限のエピソードメモリを繰り返しトレーニングに用いるデータ依存性正則化は、非常に小さなメモリサイズでも過学習を防ぎ、一般化性能を向上させる。
• 潜在次元が64を超えると性能が低下する傾向を示しており、表現力とコンパクトネスのバランスが重要であることが示され、最適な性能は50〜64次元で観察された。
• クラスインクリメンタル設定の最終タスクにおいて、提案手法はオフラインZSLベースラインと比較して競争力のある結果を達成しているが、上限性能にはまだ到達していない。
• メモリの構築にリザボア・サンプリングを用いることで、他のサンプリング戦略に比べて最も優れた結果が得られ、代表的かつ多様なメモリ内容を維持できることの有効性が示された。