[論文レビュー] Towards Training Recurrent Neural Networks for Lifelong Learning

Shagun Sodhani, Sarath Chandar+1 more|arXiv (Cornell University)|Nov 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 15

ひとこと要約

本論文は、勾配エピソードメモリ（GEM）を用いた災害的忘却の緩和と、リアルタイムでの容量拡張を可能にするNet2Netを組み合わせた統合的アプローチを提案する。このアプローチにより、再帰的ニューラルネットワーク（RNN）における有効な生涯学習が可能となる。カリキュラムベースのベンチマークで評価した結果、統合モデルは個々のコンponentsおよび強力なベースラインを上回り、タスク間での知識保持性が優れているとともに、スケーラブルなモデル拡大が可能である。

ABSTRACT

Catastrophic forgetting and capacity saturation are the central challenges of any parametric lifelong learning system. In this work, we study these challenges in the context of sequential supervised learning with an emphasis on recurrent neural networks. To evaluate the models in the lifelong learning setting, we propose a curriculum-based, simple, and intuitive benchmark where the models are trained on tasks with increasing levels of difficulty. To measure the impact of catastrophic forgetting, the model is tested on all the previous tasks as it completes any task. As a step towards developing true lifelong learning systems, we unify Gradient Episodic Memory (a catastrophic forgetting alleviation approach) and Net2Net(a capacity expansion approach). Both these models are proposed in the context of feedforward networks and we evaluate the feasibility of using them for recurrent networks. Evaluation on the proposed benchmark shows that the unified model is more suitable than the constituent models for lifelong learning setting.

研究の動機と目的

• RNNを用いた順序付き教師あり学習における生涯学習の主要な課題である災害的忘却と容量の飽和を解決すること。
• GEMによる災害的忘却の緩和と、Net2Netによる動的容量拡張を統合したRNN向けの統合モデルを開発すること。
• タスクの難易度が上昇するように設計され、過去のタスクについて継続的に評価が可能な、直感的でカリキュラムベースのベンチマークを提案すること。
• GEMとNet2Netの併用が、単独のアプローチに比べて、知識の保持、転移学習、スケーラビリティの観点で優れた性能を発揮することを示すこと。

提案手法

• タスクの難易度が上昇するカリキュラムベースのベンチマークを設計し、各新しいタスクを学習した後、すべての過去のタスクについてモデルの評価を実施する。
• 保存されたエピソード例を用いて重みの更新を制約することで、RNNに勾配エピソードメモリ（GEM）を統合し、過去のタスクの学習を安定化させる。
• Net2Netを適用して、初期知識が同等の小さな事前学習済みネットワークを、より大きなネットワークに変換することで、RNNの容量を拡張する。
• GEMによる忘却防止とNet2Netによる容量拡張を組み合わせた、エンドツーエンドで訓練された統合型の小規模LSTM-GEM-Net2Netモデルを構築する。
• コピー、連想的想起、SSMNISTの3つのタスク分布に対して、統合モデルを単独のGEM、大規模LSTM、大規模LSTM-GEMベースラインと比較する。
• 全タスクにおける精度のヒートマップ可視化による細分化評価を実施し、忘却、転移、前向き一般化の分析を行う。

実験結果

リサーチクエスチョン

• RQ1 GEMとNet2Netを統合したモデルは、RNNを用いた生涯学習において、個々のコンponentsを上回る性能を発揮するか？
• RQ2 提案されたカリキュラムベースのベンチマークは、生涯学習システムの評価をより信頼性高く可能にするか？
• RQ3 Net2Netによる容量拡張は、順次学習における災害的忘却をどの程度軽減するか？
• RQ4 統合モデルは、大規模で固定容量のモデルに比べ、将来のタスクに対してより優れた前向き一般化を達成するか？

主な発見

• 統合型の小規模LSTM-GEM-Net2Netモデルは、単独のGEMおよびNet2Netモデルよりも、タスク間での知識保持性に優れている。
• 特にコピータスクにおいて、大規模LSTM-GEMモデルよりも高い平均的な将来タスクの精度を達成しており、大規模LSTMモデルと同等またはそれを上回っている。
• ヒートマップ分析により、統合モデルが過去のタスク（下三角領域）で高い精度を維持していることが示され、災害的忘却に対する強い耐性があることが明らかになった。
• 前向き一般化を明示的に設計していないにもかかわらず、統合モデルは未学習の将来タスクにおいて、大規模LSTMモデルと同等またはそれ以上の一般化性能を示した。
• 大規模LSTM-GEMモデルに比べ、統合モデルはより多くのタスクをクリアしており、生涯学習におけるスケーラビリティと実用的有用性が優れていることが示された。
• 災害的忘却と容量の飽和の両方を同時に解決することで、優れた生涯学習性能が達成されることを実証した。