[論文レビュー] Learning Invariant Representation for Continual Learning

Ghada Sokar, Decebal Constantin Mocanu+1 more|University of Twente Research Information|Jan 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 4

ひとこと要約

本稿では、クラス不変表現を条件付き変分オートエンコーダー（cVAE）から分離し、分類に向けたタスク固有表現と併用することで、継続的学習のための疑似再プレイ手法IRCLを提案する。推論時にクラス条件付きの高品質な偽サンプルを生成し、不変表現を活用することで、実データを再利用する手法や最新の疑似再プレイ手法よりも、分割MNISTおよびファッションMNISTで3.5–5.5%の精度およびバックワード転送性能で優れる。特に、再プレイサンプル数が少ない場合に顕著である。

ABSTRACT

Continual learning aims to provide intelligent agents that are capable of learning continually a sequence of tasks, building on previously learned knowledge. A key challenge in this learning paradigm is catastrophically forgetting previously learned tasks when the agent faces a new one. Current rehearsal-based methods show their success in mitigating the catastrophic forgetting problem by replaying samples from previous tasks during learning a new one. However, these methods are infeasible when the data of previous tasks is not accessible. In this work, we propose a new pseudo-rehearsal-based method, named learning Invariant Representation for Continual Learning (IRCL), in which class-invariant representation is disentangled from a conditional generative model and jointly used with class-specific representation to learn the sequential tasks. Disentangling the shared invariant representation helps to learn continually a sequence of tasks, while being more robust to forgetting and having better knowledge transfer. We focus on class incremental learning where there is no knowledge about task identity during inference. We empirically evaluate our proposed method on two well-known benchmarks for continual learning: split MNIST and split Fashion MNIST. The experimental results show that our proposed method outperforms regularization-based methods by a big margin and is better than the state-of-the-art pseudo-rehearsal-based method. Finally, we analyze the role of the shared invariant representation in mitigating the forgetting problem especially when the number of replayed samples for each previous task is small.

研究の動機と目的

• 過去のタスクの実データが入手不可能な状況における深刻な忘却の問題に対処すること。
• 過去の実サンプルを保存する必要がない疑似再プレイ手法の開発。
• 条件付き生成モデルを用いてデータからクラス不変表現を分離することで、忘却に対する耐性を高めること。
• 推論時にタスクIDが利用不可な状況下でも、クラスインクリメンタル学習を可能にすること。
• 知識の転送を強化し、特に再プレイサンプル数が限られる状況でのネガティブなバックワード転送を低減すること。

提案手法

• 入力データから共有のクラス不変表現（z）を条件付き変分オートエンコーダー（cVAE）を用いて分離する。
• 不変表現zをタスク固有の分類ヘッドと併用して認識に用いる。
• 実データの再プレイに代わり、クラスラベルに条件づけたcVAEから生成されたサンプルを用いて疑似再プレイを実行する。
• cVAEの再構成損失とタスクヘッドの分類損失を組み合わせ、エンドツーエンドでモデルを訓練する。
• 分離された不変表現を分類器に供給することで、学習の安定化と忘却の低減を図る。
• 推論時にタスクIDが利用不可なクラスインクリメンタル学習の設定下で、手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付き生成モデルを用いて学習した分離された不変表現は、継続的学習における深刻な忘却を軽減できるか？
• RQ2 実データが入手不可な状況下で、cVAEが生成する偽サンプルの品質が性能に与える影響は何か？
• RQ3 共有の不変表現（z）を分類器に供給することで、一般化性能が向上し、特に再プレイサンプル数が少ない状況での忘却が軽減されるか？
• RQ4 正則化ベース手法および最新の疑似再プレイ手法と比較して、IRCLの精度およびバックワード転送性能はどのように異なるか？
• RQ5 条件付き生成によって、各クラスごとに制御された再プレイサンプルの生成が可能となり、学習干渉のバランスが取れるか？

主な発見

• IRCLは、分割MNISTおよびファッションMNISTベンチマークにおいて、正則化ベース手法を大きく上回る性能を発揮する。
• 分割MNISTでは、SOTA疑似再プレイ手法よりも3.5%高い精度と5.5%優れたバックワード転送性能を達成する。
• ファッションMNISTでは、SOTA疑似再プレイ手法よりも精度が4%向上し、バックワード転送が3%向上する。
• 分類器に共有の不変表現（z）を組み込むことで、再プレイサンプル数が少ない状況でも一貫して精度が向上し、ネガティブなバックワード転送が低減される。
• 条件付き生成により、より高品質な偽サンプルが得られ、性能の向上と忘却の低減に寄与する。
• アブレーションスタディの結果、不変表現は忘却に対してより耐性があり、過去のタスクの性能維持に重要な役割を果たしていることが確認された。