[論文レビュー] Continual Learning with Deep Generative Replay

Hanul Shin, Jung Kwon Lee+2 more|arXiv (Cornell University)|May 24, 2017

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 202

ひとこと要約

Deep Generative Replay (DGR) を導入する、生成模型とソルバーのデュアルモデル枠組みで、生成された過去データをリプレイして新しいタスクを学習することで壊滅的忘却を緩和し、実際の過去データを保存せずに学習する。

ABSTRACT

Attempts to train a comprehensive artificial intelligence capable of solving multiple tasks have been impeded by a chronic problem called catastrophic forgetting. Although simply replaying all previous data alleviates the problem, it requires large memory and even worse, often infeasible in real world applications where the access to past data is limited. Inspired by the generative nature of hippocampus as a short-term memory system in primate brain, we propose the Deep Generative Replay, a novel framework with a cooperative dual model architecture consisting of a deep generative model ("generator") and a task solving model ("solver"). With only these two models, training data for previous tasks can easily be sampled and interleaved with those for a new task. We test our methods in several sequential learning settings involving image classification tasks.

研究の動機と目的

• 深層ネットワークにおける逐次的／タスク学習で生じる壊滅的忘却を動機づけ、対処する。
• 過去データ分布を模倣する生成器を用いて、経験リプレイのメモリ効率の高い代替案を提案する。
• 元の過去データセットにアクセスせずに、タスクやドメイン間の知識移転を可能にする。
• 既存の継続学習アプローチおよびアーキテクチャとの互換性があることを示す。

提案手法

• 学習者を、過去データの入力を生成し、対応する過去タスクのターゲットとともにリプレイして新しいタスクを学習する生成–ソルバーのペアとして定義する。
• 過去データ分布を模倣するため、GANs フレームワーク内で生成器を訓練する。
• 前のソルバーからのターゲットを持つリプレイ入力と現実の現在タスクデータの混合物でソルバーを訓練する。
• 現在タスクの損失とリプレイ損失を結合した訓練損失と、過去データ分布を考慮したテスト時の損失を定式化する。
• 学習者の逐次訓練は、最近のコピーを参照して単一の学習者を更新することに等しく、過去データの保存なしに継続学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 過去データを保存せずに連続してタスクを学習する際、generative replay は壊滅的忘却を防ぐことができるか？
• RQ2 生成モデルの品質は、タスクとドメインを横断する継続学習の性能にどのように影響するか？
• RQ3 generative replay は他の継続学習手法（例：LwF）やアーキテクチャと互換性があるか？
• RQ4 分離されたまたは関連するドメイン間、さらには新しいクラスの学習を、実際の過去データを再訪問することなく扱えるか？

主な発見

• Generative replay は新しいタスクを学習しつつ古いタスクの性能を維持し、単に新しいタスクだけで学習する場合と比べて忘却を低減する。
• このアプローチは、生成された過去データをリプレイすることで、関連ドメインと分離ドメインを横断した学習をサポートし、MNISTやSVHNのようなドメイン間の知識を保持する。
• LwF に生成リプレイを組み合わせた LwF-GR は、特定のドメイン移行設定において LwF 単独より忘却をより効果的に抑制する。
• 入力と出力の分布を再構成することで新しいクラスの学習にも対応し、見られたすべてのクラスで均衡した性能を実現する。
• 性能は生成器の品質に依存するが、生成器とソルバーの連結最適化により、タスク間で堅牢な継続学習を達成する。