[論文レビュー] An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks

Ian Goodfellow, Mehdi Mirza+3 more|arXiv (Cornell University)|Jan 1, 2014

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 497

ひとこと要約

この論文は、さまざまなアーキテクチャ、活性化関数、タスク関係を想定して、勾配ベースのニューラルネットワークにおける深刻な忘却現象を実験的に調査している。ドロップアウトは、過去の知識の保持と新しいタスクへの適応のバランスを取るうえで、他の学習手法に比べて一貫して優れていることが判明した。一方、活性化関数の性能はタスクに強く依存しており、最適な選択には交差検証が必要である。

ABSTRACT

Abstract: Catastrophic forgetting is a problem faced by many machine learning models and algorithms. When trained on one task, then trained on a second task, many machine learning models forget how to perform the first task. This is widely believed to be a serious problem for neural networks. Here, we investigate the extent to which the catastrophic forgetting problem occurs for modern neural networks, comparing both established and recent gradient-based training algorithms and activation functions. We also examine the effect of the relationship between the first task and the second task on catastrophic forgetting. We find that it is always best to train using the dropout algorithm--the dropout algorithm is consistently best at adapting to the new task, remembering the old task, and has the best tradeoff curve between these two extremes. We find that different tasks and relationships between tasks result in very different rankings of activation function performance. This suggests the choice of activation function should always be cross-validated.

研究の動機と目的

• 順次的タスク学習中に現代のニューラルネットワークで深刻な忘却がどの程度発生するかを評価すること。
• 忘却を軽減するための既存および最近の勾配ベースの学習アルゴリズムの性能を比較すること。
• タスク間の関係が忘却行動に与える影響を評価すること。
• さまざまな活性化関数が保持と適応に与える影響を特定すること。
• 古いタスクを記憶し、新しいタスクを学ぶことを両立させる最適な学習戦略を同定すること。

提案手法

• さまざまな勾配ベースの最適化アルゴリズムを用いて、複数のタスクを順次に学習させるニューラルネットワークで実験的調査を実施した。
• タスク関係の異なる状況下で、ReLU、ELU、その他の活性化関数を含む複数の活性化関数の性能を評価した。
• 2番目のタスクの学習後、最初のタスクでの精度を測定することで、深刻な忘却を測定した。
• ドロップアウト正則化を、すべての実験におけるベースラインおよび比較手法として用いた。
• 性能曲線を分析することで、古いタスクの保持と新しいタスクへの適応のトレードオフを評価した。
• 最初のタスクと2番目のタスクの類似性と重複度を系統的に変化させ、それが忘却に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 順次的学習中に現代のニューラルネットワークで深刻な忘却がどの程度発生するか？
• RQ2 さまざまな勾配ベースの学習アルゴリズムは、忘却の軽減においてどのように比較されるか？
• RQ3 最初のタスクと2番目のタスクの関係は、忘却の度合いにどのように影響するか？
• RQ4 どの活性化関数が、古いタスクの記憶と新しいタスクの学習のバランスを最も良くとるか？
• RQ5 多様なタスクペアにわたって忘却を最小限に抑える普遍的な最適な学習設定は存在するか？

主な発見

• ドロップアウトは、2番目のタスクへの適応を図りながらも、最初のタスクの性能を保持する観点で、他のすべての学習アルゴリズムを一貫して上回った。
• 活性化関数の性能順位は、最初のタスクと2番目のタスクの関係に強く依存しており、顕著に変化した。
• どの活性化関数も普遍的に最適とはならず、性能はタスクに強く依存しており、最適選択には交差検証が不可欠であった。
• ドロップアウトを用いることで、古いタスクの記憶と新しいタスクへの適応のトレードオフが最も良好なバランスになった。
• タスクの類似性と重複度は、忘却率に強く影響を与え、類似度が高いタスクでは忘却が顕著に少なかった。
• 現代のアーキテクチャでさえも、ドロップアウトなどの適切な学習戦略によって緩和されない限り、深刻な忘却が顕著な問題のまま残っている。