[論文レビュー] Pseudo-Rehearsal for Continual Learning with Normalizing Flows

Jary Pomponi, Simone Scardapane+1 more|arXiv (Cornell University)|Jul 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 5

ひとこと要約

本稿では、正規化フローを用いて過去のタスクの埋め込みを生成し、正則化に用いることで、埋め込み空間における効率的な仮想再実行を可能にする継続的学習手法PRERを提案する。内部ネットワーク活性化に正規化フローを訓練し、その埋め込みを正則化することで、一定のメモリオーバーヘッドと低い計算コストで最先端の性能を達成する。

ABSTRACT

Catastrophic forgetting (CF) happens whenever a neural network overwrites past knowledge while being trained on new tasks. Common techniques to handle CF include regularization of the weights (using, e.g., their importance on past tasks), and rehearsal strategies, where the network is constantly re-trained on past data. Generative models have also been applied for the latter, in order to have endless sources of data. In this paper, we propose a novel method that combines the strengths of regularization and generative-based rehearsal approaches. Our generative model consists of a normalizing flow (NF), a probabilistic and invertible neural network, trained on the internal embeddings of the network. By keeping a single NF conditioned on the task, we show that our memory overhead remains constant. In addition, exploiting the invertibility of the NF, we propose a simple approach to regularize the network's embeddings with respect to past tasks. We show that our method performs favorably with respect to state-of-the-art approaches in the literature, with bounded computational power and memory overheads.

研究の動機と目的

• 生成的再実行と埋め込みレベルの正則化を組み合わせることで、継続的学習における深刻な忘却を軽減すること。
• 大規模データセットでは複雑な生成モデルと高いメモリ要件を要する入力空間における仮想再実行の限界を克服すること。
• 生の入力ではなく低次元の埋め込み上で生成モデルを訓練することで、メモリと計算のオーバーヘッドを低減すること。
• 多様な継続的学習ベンチマークにおいて、重み初期化への感受性を低減し、一般化性能を向上させること。
• ミニバッチ内の単純なデータ再実行よりも、生成された埋め込みを用いた正則化がより効果的であることを示すこと。

提案手法

• 分類器ネットワークの内部埋め込み（畳み込み後特徴）に正規化フロー（NF）を訓練する。入力画像ではなく、この埋め込みに焦点を当てる。
• NFを生成モデルとして用い、学習中に過去のタスクの埋め込みをサンプリングすることで、生データを保存せずに継続的な仮想再実行を実現する。
• 過去に学習したクラスに対応する埋め込みを生成するために、NFをタスクIDで条件づける。
• 新しく抽出された埋め込みとNFからサンプリングされた埋め込みとの間のL2距離を最小化することで、エンコーダを正則化し、過去の知識と整合性を保つ。
• 学習段階で分類器とNFを同時に訓練し、過去の埋め込みをよりよく再構築できるようにNFを更新する。
• NFの可逆性を活用して効率的な密度推定とサンプリングを実現し、GANと同様の訓練の不安定性を回避する。

実験結果

リサーチクエスチョン

• RQ1 内部埋め込み上で訓練された正規化フローは、継続的学習における過去のタスクの代表的サンプルを効果的に生成できるか？
• RQ2 生成された埋め込みを用いた正則化は、標準的なデータ再実行や重み正則化よりも、深刻な忘却を抑制する上で優れているか？
• RQ3 1つのタスク条件付き正規化フローは、タスク数の増加に伴っても一定のメモリオーバーヘッドを維持できるか？
• RQ4 既存の再実行および正則化ベースラインと比較して、本手法のメモリおよび計算スケーリング特性はどのようにか？
• RQ5 本手法は重み初期化への感受性を低減し、データセットの複雑さに対しても耐性を示すか？

主な発見

• PRERは、MNISTおよびCIFAR10において、比較対象のすべての手法（LWF, EWC, GEM, ER）の中で最高のバックワード転送（BWT）スコアを達成した。
• MNISTでは、PRERのBWTは約1.8であり、ERの4.5およびLWFの6.0を大きく上回り、知識の保持が優れていることを示している。
• PRERのメモリ要件は非常に低く、MNISTではたったの約148Kの浮動小数点数で済む。これは、一定サイズの正規化フローのおかげで、ER（834K）やGEM（1960K）を上回る。
• MNISTにおけるPRERの学習時間は約20分で、LWFやEWCと同等の競争力を持ち、GEM（約60分）よりも顕著に短い。
• 本手法は重み初期化に対して頑健であり、5つのランダムシードで測定した際の分散が低く、LWF や EWC とは異なり初期化に敏感でない。
• 埋め込み空間での生成により、生成モデルの複雑さが低減され、GAN風の不安定性を伴わずに効率的な訓練とサンプリングが可能になった。