[論文レビュー] Storing Encoded Episodes as Concepts for Continual Learning

Ali Ayub, Alan R. Wagner|arXiv (Cornell University)|Jun 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 7

ひとこと要約

本稿では、神経的スタイル転送（NST）で訓練されたオートエンコーダーを用いて、高品質でぼやけのない再構成画像を生成する生成的リプレイのための、認知的にインspiredな継続的学習手法であるエピソードを概念としてエンコードする（EEC）を提案する。本手法は、保存されたエピソードを重心と分散の表現に変換することで、記憶使用量を78%削減し、災難的忘却を軽減し、ベンチマークデータセット上で最先端の手法よりも13–17%高い精度を達成する。

ABSTRACT

The two main challenges faced by continual learning approaches are catastrophic forgetting and memory limitations on the storage of data. To cope with these challenges, we propose a novel, cognitively-inspired approach which trains autoencoders with Neural Style Transfer to encode and store images. Reconstructed images from encoded episodes are replayed when training the classifier model on a new task to avoid catastrophic forgetting. The loss function for the reconstructed images is weighted to reduce its effect during classifier training to cope with image degradation. When the system runs out of memory the encoded episodes are converted into centroids and covariance matrices, which are used to generate pseudo-images during classifier training, keeping classifier performance stable with less memory. Our approach increases classification accuracy by 13-17% over state-of-the-art methods on benchmark datasets, while requiring 78% less storage space.

研究の動機と目的

• 実際のデータサンプルを保存せずに、継続的学習における災難的忘却と記憶制限を解決すること。
• エンコードされたエピソードの保存と変換を通じて、人間の記憶統合を模倣する生物学的にインspiredな手法を開発すること。
• 分類器のリハーサルを効果的に行うために、標準的なオートエンコーダーを上回る画像再構成品質を向上させること。
• エンコードされたエピソードの重心と分散に基づく圧縮により、記憶容量を削減すること。
• 厳密なクラスインクリメンタル学習制約下で、ImageNet-50のような複雑なRGBデータセットにおいて優れた性能を達成すること。

提案手法

• ぼやけた再構成ではなく、クラスに関連する明確な画像を生成するように、神経的スタイル転送（NST）損失で訓練された畳み込みオートエンコーダーを訓練する。
• 新しいタスクの学習中に生成的リプレイを可能にするために、記憶にエンコードされたエピソード（低次元埋め込み）を保存する。
• 分類器の学習中に劣化した再構成画像の影響を軽減するため、サンプルの減衰重みを適用する。
• 類似したエンコード済みエピソードを重心と分散行列に変換して、記憶制限に達した際の記憶使用量を圧縮する。
• 海馬-皮質の概念学習を模倣したクラスタリングベースの記憶統合技術を用いて、類似したエピソードを統合する。
• 分類器の学習中に重心と分散行列から画像を再構成し、疑似画像を生成することで、最小限の記憶量で性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 神経的スタイル転送は、継続的学習における生成的リプレイのためのオートエンコーダー生成画像の品質を向上させることができるか？
• RQ2 実際のデータを保存するか、GANを用いるのと比較して、エピソードを概念としてエンコードする方法は、忘却と記憶効率の点でどのように異なるか？
• RQ3 生のエンコード済みエピソードを重心と分散表現で置き換えると、性能の低下がどの程度まで許容されるか？
• RQ4 提案手法は、ImageNet-50のような複雑で高次元のデータセットにおいて、災難的忘却を軽減するか？
• RQ5 効果的な記憶統合により、極めて厳しい記憶制約下でも、システムは高い精度を維持できるか？

主な発見

• ImageNet-50において、EECは実データを保存しないにもかかわらず、DGMwよりもA3で13.29%、A5で17.42%高い精度を達成した。
• MNISTでは、10のタスクにわたり安定した性能を維持し、タスクの長さに依存しないロバストネスを示した。
• 記憶予算K=5000の場合、EECはA5で31.51%の精度を達成し、無制限記憶のベースラインより僅かに3.73%低い結果であった。
• ImageNet-50において、EECはDGMw（228 MB）に対して78.01%、実画像保存（315 MB）に対して64.58%の記憶使用量削減を達成した。
• 実画像エピソード記憶を用いる最先端手法iCaRLよりも、A3で16.01%、A5で6.26%高い精度を示し、生成的リプレイの有効性を裏付けた。
• DGMwとは異なり、EECは複数のデータセットで一貫した性能を示したが、DGMwはMNISTとImageNet-50の間で顕著な性能変動を示した。