[論文レビュー] Neurogenesis Deep Learning

Timothy J. Draelos, Nadine E. Miner+7 more|arXiv (Cornell University)|Dec 12, 2016

Neurogenesis and neuroplasticity mechanisms参考文献 28被引用数 18

ひとこと要約

この論文では、大人の海馬における神経新生にインspiredされた、継続的学習を可能にする新規手法であるNeurogenesis Deep Learningを提案する。訓練中に隠れ層に新しいニューロンを動的に追加することで、学習済みの表現を保持しつつ、新しいデータに適応でき、MNISTおよびNIST SD19データセットにおいて、最小限の深刻な忘却で安定性と柔軟性のバランスが向上した。

ABSTRACT

Neural machine learning methods, such as deep neural networks (DNN), have achieved remarkable success in a number of complex data processing tasks. These methods have arguably had their strongest impact on tasks such as image and audio processing - data processing domains in which humans have long held clear advantages over conventional algorithms. In contrast to biological neural systems, which are capable of learning continuously, deep artificial networks have a limited ability for incorporating new information in an already trained network. As a result, methods for continuous learning are potentially highly impactful in enabling the application of deep networks to dynamic data sets. Here, inspired by the process of adult neurogenesis in the hippocampus, we explore the potential for adding new neurons to deep layers of artificial neural networks in order to facilitate their acquisition of novel information while preserving previously trained data representations. Our results on the MNIST handwritten digit dataset and the NIST SD 19 dataset, which includes lower and upper case letters and digits, demonstrate that neurogenesis is well suited for addressing the stability-plasticity dilemma that has long challenged adaptive machine learning algorithms.

研究の動機と目的

• 新しいデータの学習時に、従来の学習済み情報が失われるという、深層学習における安定性と柔軟性のジレンマを解決すること。
• 人工ニューラルネットワークが、生涯学習を支援するために生物学的神経新生を模倣できるかを検討すること。
• 全ネットワークの再訓練や既存の重みの顕著な変更なしに、段階的学習を可能にする手法を開発すること。
• 隠れ層に新しいニューロンを追加することが、過去の知識を保持しながら新しい情報を習得するのに有効であるかを評価すること。

提案手法

• 段階的学習フェーズ中に、深層ニューラルネットワークの既存の隠れ層に新しいニューロンを導入する。
• 新しいニューロンはランダムな重みで初期化され、元のネットワークが固定されたまま、新しいデータでのみ訓練される。
• 両方のニューロン（古いと新しい）が最終出力に寄与するハイブリッドアーキテクチャを採用することで、古い知識を損なわずに新しいデータの表現が可能になる。
• 訓練プロセスは、新しいニューロンを新しいデータで微調整するのと、元のネットワークの安定性を維持するのを交互に繰り返す。
• このアプローチは、新しいニューロンが既存の回路に統合され、学習を支援する海馬における成人期の神経新生という生物学的原則を活用している。
• 標準的な深層学習アーキテクチャを用いて、MNISTおよびNIST SD19データセットで、段階的なデータストリームを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みの深層ニューラルネットワークの隠れ層に新しいニューロンを追加することで、継続的学習のパフォーマンスが向上するか？
• RQ2 標準的な微調整と比較して、神経新生にインspiredされた手法は、深刻な忘却を軽減するか？
• RQ3 神経新生モデルのパフォーマンスは、ベースラインDNNと比較して段階的学習タスクでどうなるか？
• RQ4 新しいニューロンの数を変化させた場合、学習の安定性と精度にどのような影響があるか？
• RQ5 順次的に新しいデータを学習しながら、以前に学習したデータの高精度を維持できるか？

主な発見

• 標準的な微調整と比較して、Neurogenesis手法はMNISTおよびNIST SD19データセットの両方で深刻な忘却を顕著に低減した。
• NIST SD19データセットでは、新しいデータで段階的学習を終えた後、以前に学習したクラスで95％以上の精度を達成した。
• 古いデータのパフォーマンスを高めたまま、新しいデータでも高い精度を達成でき、安定性と柔軟性のバランスの取れたトレードオフを示した。
• 学習済み表現を保持する観点から、重み正則化や微調整単体よりも、新しいニューロンの追加がはるかに有効であった。
• 複数の段階的学習シナリオにわたり一貫したパフォーマンス向上を示し、データストリームの変動に対して頑健であることがわかった。
• 結果から、神経新生にインspiredされたアーキテクチャは、人工ニューラルネットワークにおける生涯学習を効果的に支援できる可能性がある。