[論文レビュー] Generative Replay-based Continual Zero-Shot Learning

Chandan Gautam, Sethupathy Parameswaran+2 more|arXiv (Cornell University)|Jan 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 10

ひとこと要約

本論文は、前回のタスクのデコーダーからの合成サンプルを生成するために条件付き変動オートエンコーダー（CVAE）を用いることで、継続的でクラス増分的な設定下でのゼロショット学習を可能にする、生成的リプレイベースの継続的ゼロショット学習（GRCZSL）を提案する。この手法により、悲観的忘却を軽減できる。固定および動的クラス増分設定の両方において、5つのベンチマークデータセットで最先端の性能を達成しており、ハーモニック平均精度で最大8%の向上を示している。

ABSTRACT

Zero-shot learning is a new paradigm to classify objects from classes that are not available at training time. Zero-shot learning (ZSL) methods have attracted considerable attention in recent years because of their ability to classify unseen/novel class examples. Most of the existing approaches on ZSL works when all the samples from seen classes are available to train the model, which does not suit real life. In this paper, we tackle this hindrance by developing a generative replay-based continual ZSL (GRCZSL). The proposed method endows traditional ZSL to learn from streaming data and acquire new knowledge without forgetting the previous tasks' gained experience. We handle catastrophic forgetting in GRCZSL by replaying the synthetic samples of seen classes, which have appeared in the earlier tasks. These synthetic samples are synthesized using the trained conditional variational autoencoder (VAE) over the immediate past task. Moreover, we only require the current and immediate previous VAE at any time for training and testing. The proposed GRZSL method is developed for a single-head setting of continual learning, simulating a real-world problem setting. In this setting, task identity is given during training but unavailable during testing. GRCZSL performance is evaluated on five benchmark datasets for the generalized setup of ZSL with fixed and dynamic (incremental class) settings of continual learning. The existing class setting presented recently in the literature is not suitable for a class-incremental setting. Therefore, this paper proposes a new setting to address this issue. Experimental results show that the proposed method significantly outperforms the baseline and the state-of-the-art method and makes it more suitable for real-world applications.

研究の動機と目的

• 学習時にすべての既知クラスデータを必要とする従来のゼロショット学習（ZSL）手法の制限を解決すること。これは、実世界のストリーミング環境では現実的ではない。
• 再トレーニングなしで段階的に増加するクラスから学習しながら、悲観的忘却を防ぐ継続的ZSLフレームワークを開発すること。
• オフラインZSLベースラインと公平に比較可能な、クラス増分的継続的ZSLのための新しい評価設定を提案すること。
• 過去のタスクのデコーダーのみを用いて生成的リプレイを実施することで、メモリおよび計算コストを最小限に抑える有効性を示すこと。

提案手法

• 本手法は、直近の過去のタスクのデコーダーを用いて、以前に学習した既知クラスの合成視覚的サンプルを生成するための条件付き変動オートエンコーダー（CVAE）を採用する。
• 生成的リプレイは、現在のタスクの実データと、前回タスクのCVAEから生成された合成データの組み合わせでモデルを訓練することで実現する。
• 完全なモデルリプレイと比較して、メモリフットプリントを削減するため、現在のタスクの完全なモデルと、前回タスクのデコーダーのみを保存する。
• 推論時にタスクIDが利用できないシングルヘッド設定でモデルを訓練することで、実世界の展開を模擬する。
• トレーニング中に現在のタスクと前回タスクのサンプルの寄与度をバランスさせるために、タスク重要度ハイパーパrameter（α）を導入する。
• フレームワークは固定および動的クラス増分設定の両方をサポートしており、後者では既知クラスと未知クラスの両方が時間とともに増加する。

実験結果

リサーチクエスチョン

• RQ1 完全なモデルを保存せずに、生成的リプレイベースのアプローチが継続的ゼロショット学習における悲観的忘却を効果的に防げるか。
• RQ2 同じテストスプリット下で、継続的ZSLモデルの性能は、オフラインで非継続的な対応モデルと比較してどうなるか。
• RQ3 タスク重要度（α）を変化させた場合、モデルが過去のタスクの知識を保持しつつ新しいタスクを学習する能力にどのような影響を与えるか。
• RQ4 従来の手法が固定されたクラス集合を仮定するのに対し、本手法は既知クラスと未知クラスの両方が時間とともに増加するクラス増分学習を処理できるか。
• RQ5 過去のデコーダーのみを用いてリプレイを行うことで、過去に学習したクラスの性能を維持するのに十分な信号が得られるか。

主な発見

• GRCZSLは、固定および動的クラス増分設定の両方において、5つのベンチマークデータセット（CUB, aPY, AWA1, AWA2, SUN）ですべてのベースライン手法を上回る性能を達成した。
• 動的設定では、CUBデータセットにおいてベースラインと比較してハーモニック平均精度が8%以上も向上した。
• 固定設定下でaPYおよびSUNデータセットにおいて、それぞれ1.5%および0.3%以上のハーモニック平均精度の向上を示した。
• アブレーションスタディの結果、タスク重要度（α）が[0.3, 0.5]の範囲にあると最良の性能が得られ、α=0またはα=1では最も悪い性能となった。
• 強力な性能を示したが、最後のタスクにおいてもオフラインCVAEの上限性能にはまだ追いついていないため、生涯的一般化の面で改善の余地がある。
• モデルはタスク全体を通じて未知クラスにおける安定した性能を維持しており、mUA（平均未知精度）はmH（ハーモニック平均）と同様のトレンドを示しており、ゼロショット一般化の強靭性を確認した。