[論文レビュー] Efficient Continual Learning with Modular Networks and Task-Driven Priors

Tom Véniat, Ludovic Denoyer+1 more|arXiv (Cornell University)|Dec 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 29

ひとこと要約

本論文は、効率的な継続的学習を可能にする、タスク駆動型の事前知識を備えたモジュラーなニューラルネットワークアーキテクチャを提案している。このアーキテクチャは、メモリおよび計算量のサブリニアスケーリングを実現し、深刻な忘却を軽減する。過去のタスクから再利用可能なモジュールを組み合わせ、データ駆動型の事前知識を用いて最適な組み合わせを動的に選択することで、転移性とスケーラビリティを問う、新規で挑戦的なベンチマークにおいて最先端の性能を達成し、長期間にわたる継続的学習設定でも既存の手法を上回っている。

ABSTRACT

Existing literature in Continual Learning (CL) has focused on overcoming catastrophic forgetting, the inability of the learner to recall how to perform tasks observed in the past. There are however other desirable properties of a CL system, such as the ability to transfer knowledge from previous tasks and to scale memory and compute sub-linearly with the number of tasks. Since most current benchmarks focus only on forgetting using short streams of tasks, we first propose a new suite of benchmarks to probe CL algorithms across these new axes. Finally, we introduce a new modular architecture, whose modules represent atomic skills that can be composed to perform a certain task. Learning a task reduces to figuring out which past modules to re-use, and which new modules to instantiate to solve the current task. Our learning algorithm leverages a task-driven prior over the exponential search space of all possible ways to combine modules, enabling efficient learning on long streams of tasks. Our experiments show that this modular architecture and learning algorithm perform competitively on widely used CL benchmarks while yielding superior performance on the more challenging benchmarks we introduce in this work.

研究の動機と目的

• 既存の継続的学習手法に見られる、効率的なスケーリングの欠如や、忘却の緩和を越えた知識転移のサポートの欠如といった限界を是正すること。
• 強固な継続的学習システムに求められる主な特性を特定すること：深刻な忘却の回避、効果的な知識転移、タスク数に伴うメモリおよび計算量のサブリニア成長。
• これらの特性を標準的な忘却メトリクスを超えて評価できる、新たなベンチマークスイート CTrL を設計および評価すること。
• タスク駆動型の事前知識を備えたモジュラーなニューラルネットワークアーキテクチャを設計・評価することにより、効率的でスケーラブルかつ転移可能な継続的学習を実現すること。

提案手法

• 本手法は、各タスクを、過去のタスクから継承されたものまたは新たに訓練された小さな数の再利用可能なニューラルモジュールの組み合わせによって解決するモジュラーなニューラルネットワークを採用している。
• 指数的空間におけるモジュール組み合わせの探索を効率化するために、タスク駆動型の事前知識を導入している。この事前知識は、前回のタスクで最も優れた性能を示したモジュール構成の周辺における局所的摂動に限定されたアーキテクチャ探索に焦点を当てる。
• この事前知識はデータ駆動型であり、前回タスクの最良性能を示したアーキテクチャの特徴を用いて探索空間を制約することで、効率的な探索を保証している。
• 過去のモジュールを固定することで、忘却を回避し、現在のタスクの学習時にのみ新しいモジュールを更新する。
• 意味的に類似したタスク間で共通モジュールを再利用することで、知識転移を支援する。
• 本手法は、各タスクを一度だけ学習する現実的なプロトコルで評価されており、推論時にはデータを再び再生可能である。これは、現実世界の継続的学習を模倣している。

実験結果

リサーチクエスチョン

• RQ1 継続的学習システムは、長期間にわたるタスクストリームにおいて、メモリおよび計算量のサブリニア成長を達成しながら、高い性能を維持できるか？
• RQ2 モジュラーなアーキテクチャは、関連するタスク間での知識転移を、どの程度効果的に実現できるか？
• RQ3 標準的なベンチマークは、転移性とスケーラビリティの観点から、継続的学習手法の差を適切に区別できていない程度はどの程度か？
• RQ4 データ駆動型のタスク固有の事前知識は、モジュール組み合わせの組み合わせ的空間における探索効率をどの程度向上させるか？
• RQ5 タスク駆動型の事前知識を備えたモジュラーなアーキテクチャは、標準的および新たに設計されたより困難な継続的学習ベンチマークにおいて、既存の最先端手法を上回ることができるか？

主な発見

• ResNetバックボーンを用いた本手法 MNTDP-D は、CTrLベンチマークで最高の平均正解率（0.70）と最良のプラスティシティ性能を達成し、すべてのベースラインを上回った。
• 長期間ストリーム評価では、MNTDP-D はわずか 102.03 MB のメモリ使用量で 0.75 の平均正解率を維持し、HAT* や MNTDP-S といった手法を顕著に上回った。
• 転送評価ストリームでは、MNTDP-D はデータ量の削減とクラス再順序化の影響を受けても、最終タスクで 0.70 の正解率を達成し、強力な転送能力を示した。
• 本手法は効率的なスケーリングを実現している：100タスクの場合、MNTDP-D はたった 1299.0 FLOPs と 11.6 MB のメモリ使用量で、サブリニア成長を示した。
• プラスティシティストリームでは、MNTDP-D は4つの干渉タスクの後でもプローブタスクで 0.70 の正解率を維持しており、忘却の最小限化と強固な記憶保持を示した。
• アブレーションスタディの結果、タスク駆動型の事前知識が極めて重要であることが確認された。これなしでは、特に長期間ストリームにおいて性能が著しく低下した。