[論文レビュー] Continual Learning with Self-Organizing Maps

Pouya Bashivan, Martin Schrimpf+4 more|arXiv (Cornell University)|Apr 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 4

ひとこと要約

本稿では、自己符号化マップ（SOMs）を用いて入力をタスク固有のネットワーク領域に動的にルーティングするメモリレスな継続的学習手法SOMLPを提案する。明示的なタスク境界やメモリバッファを必要としない。入力を非教師的かつタスクコンテキストにクラスタリングし、それに応じてネットワーク活性化をマスクすることで、MNISTの順列と回転の設定において、GEM や EWC などの最先端手法と同等の性能を達成する。特に低メモリ環境下で優れた性能を示す。

ABSTRACT

Despite remarkable successes achieved by modern neural networks in a wide range of applications, these networks perform best in domain-specific stationary environments where they are trained only once on large-scale controlled data repositories. When exposed to non-stationary learning environments, current neural networks tend to forget what they had previously learned, a phenomena known as catastrophic forgetting. Most previous approaches to this problem rely on memory replay buffers which store samples from previously learned tasks, and use them to regularize the learning on new ones. This approach suffers from the important disadvantage of not scaling well to real-life problems in which the memory requirements become enormous. We propose a memoryless method that combines standard supervised neural networks with self-organizing maps to solve the continual learning problem. The role of the self-organizing map is to adaptively cluster the inputs into appropriate task contexts - without explicit labels - and allocate network resources accordingly. Thus, it selectively routes the inputs in accord with previous experience, ensuring that past learning is maintained and does not interfere with current learning. Out method is intuitive, memoryless, and performs on par with current state-of-the-art approaches on standard benchmarks.

研究の動機と目的

• メモリバッファや明示的なタスク境界に依存せずに、継続的学習における深刻な忘却問題を解決すること。
• 従来の経験再現や正則化に基づく継続的学習手法の代替として、スケーラブルでメモリ効率の良い手法を開発すること。
• ニューラルネットワークが新しいタスクにリソースを適応的に割り当てつつ、以前に学習した知識を保持できること。
• SOMを用いた非教師的表現学習によって、入力データ分布からタスク構造を推定すること。
• 自己符号化マップが、ラベルなしのメカニズムとして継続的学習における動的リソース割り当てに有効であることを示すこと。

提案手法

• 教師なしで入力分布の構造を学習するために、完全結合フィードフォワードネットワークと並列に自己符号化マップ（SOM）レイヤーを統合する。
• 競合学習を用いてSOMを訓練する：各入力バッチに対して、最良マッチングユニット（BMU）を特定し、それを時間とともに減少する学習率αと近傍半径σを用いて更新する。
• 入力とSOM重みのL2距離を、ハイパーパramータεでスケーリングして、タスク固有の出力マスクΓを計算する。
• マスクΓを用いて、現在の入力のタスクコンテキストに関連するネットワークノードのみを活性化させ、以前に学習したタスクへの干渉を防ぐ。
• SOMLP_mでは、全タスクのラベルなしデータから、SOM重みを事前学習する。SOMLP_sでは、全MNIST訓練セットを用いて事前学習する。
• 学習率αと近傍半径σを指数関数的減衰率τに従って時間とともに減少させ、訓練の安定化と過学習の回避を図る。

実験結果

リサーチクエスチョン

• RQ1 自己符号化マップを用いて、明示的なタスクラベルなしに継続的学習におけるタスク境界を暗黙的に推定できるか？
• RQ2 SOMによる非教師的クラスタリングを用いたメモリレスなアプローチが、EWC や GEM のようなメモリベース手法に比べ、低メモリ環境で優れた性能を示すか？
• RQ3 経験再現やフィッシャー情報を利用しない状況でも、SOMLPは順次タスクにおいてどれほど高い性能を維持できるか？
• RQ4 SOMLPが学習したマスクは、タスク間の類似性構造（例：回転と順列）をどれほど正確に反映しているか？
• RQ5 SOMによる非教師的特徴学習が、継続的学習におけるニューラルネットワークの動的リソース割り当てに有効に機能するか？

主な発見

• SOMLP_m（全タスクの10％分のデータで事前学習）は、MNIST-順列で85.4% ± 1.8、MNIST-回転で79.1% ± 0.8の精度を達成し、EWCを上回り、一部の設定ではGEMと同等の性能を示した。
• 低メモリ環境（例：8メモリスロット）において、SOMLP_mはEWC や GEM を含むすべてのベースライン手法を上回り、優れたスケーラビリティを示した。
• SOMLP_s（全MNISTで事前学習）はSOMLP_mより性能が低かったが、MNIST-回転ではEWC（49.8%）を上回り（59.1%）、MNIST-順列ではEWCと同等の性能を示した。
• GEMの性能はメモリサイズが小さくなると著しく低下した一方、EWCの性能はデータセットによって一貫性がなく、メモリバッファサイズに敏感であることが示された。
• MNIST-回転の設定において、類似したタスク（例：小さな回転差）は同じノードを共有し、類似性の低いタスクは別々のノードを使用していた。これは、効果的なタスククラスタリングを示している。
• GEMとSOMLP_mでは、順次タスク全体の平均性能が安定していたが、EWCとSOMLP_sでは性能低下が見られ、低容量または不安定な条件下での忘却が確認された。