[論文レビュー] Continual Learning via Local Module Composition

Oleksiy Ostapenko, Pau Rodríguez+2 more|arXiv (Cornell University)|Nov 15, 2021

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文では、入力に対するモジュールの関連性を予測するために、各モジュールの局所的構造的コンponentを用いた、タスクに依存しないモジュール構成（LMC）という continual learning フレームワークを提案する。学習済みの関連スコアに基づいて動的にモジュールを構成し、分布外（OOD）入力を検出することで新規モジュールの作成をトリガーすることで、タスクIDを必要とせず、未学習のタスクへのゼロショット一般化および独立して訓練されたモデル間のモジュール型ネットワーク構成を実現する。

ABSTRACT

Modularity is a compelling solution to continual learning (CL), the problem of modeling sequences of related tasks. Learning and then composing modules to solve different tasks provides an abstraction to address the principal challenges of CL including catastrophic forgetting, backward and forward transfer across tasks, and sub-linear model growth. We introduce local module composition (LMC), an approach to modular CL where each module is provided a local structural component that estimates a module's relevance to the input. Dynamic module composition is performed layer-wise based on local relevance scores. We demonstrate that agnosticity to task identities (IDs) arises from (local) structural learning that is module-specific as opposed to the task- and/or model-specific as in previous works, making LMC applicable to more CL settings compared to previous works. In addition, LMC also tracks statistics about the input distribution and adds new modules when outlier samples are detected. In the first set of experiments, LMC performs favorably compared to existing methods on the recent Continual Transfer-learning Benchmark without requiring task identities. In another study, we show that the locality of structural learning allows LMC to interpolate to related but unseen tasks (OOD), as well as to compose modular networks trained independently on different task sequences into a third modular network without any fine-tuning. Finally, in search for limitations of LMC we study it on more challenging sequences of 30 and 100 tasks, demonstrating that local module selection becomes much more challenging in presence of a large number of candidate modules. In this setting best performing LMC spawns much fewer modules compared to an oracle based baseline, however, it reaches a lower overall accuracy. The codebase is available under https://github.com/oleksost/LMC.

研究の動機と目的

• タスクに依存しないアーキテクチャを用いて、継続的学習における崩壊的忘却と線形でないモデル成長の問題を解決すること。
• 推論時にタスクIDに依存するという制限を克服し、実世界のシナリオへの適用可能性を高めること。
• タスクIDなしでモジュールの動的構成と拡張を可能にするために、モジュール固有の局所的関連スコアリングを導入すること。
• 分布外（OOD）一般化と、独立して訓練されたモデル間のモジュール型ネットワーク構成を支援すること。
• 30および100タスクの長尾タスク系列において、頑健性とスケーラビリティを評価すること。

提案手法

• 各モジュールに、入力に対する関連性を学習スコアで推定する局所的構造的コンponentを装備する。
• 正規化された関連スコアを用いてレイヤー単位で動的モジュール構成を実行し、タスクIDの必要性を排除する。
• すべての現在のモジュールが入力を分布外（OOD）とマークする場合に、局所的OOD検出メカニズムを用いて新規モジュールの作成をトリガーする。
• 新規の浅いモジュールが深いモジュールの関連スコアを最大化するように訓練される投影段階を導入し、相互適合性を保証する。
• 入力の再構成を可能にする生成モデルを構造的コンponentとして導入することで、OOD検出と構造的学習を実現する。
• 各レイヤーでモジュール間の重み付き和集約（式4）を適用し、モジュール間の暗黙的な通信と統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 タスクに依存しないモジュール型継続的学習システムは、推論時にタスクIDに依存しないまま優れた性能を達成できるか？
• RQ2 局所的構造的学習は、学習時に見られなかったタスクへの有効な分布外（OOD）一般化を可能にするか？
• RQ3 別々のタスク系列で訓練されたモジュール型ネットワークを、微調整なしに1つの機能的なネットワークに組み合わせることができるか？
• RQ4 多数の候補モジュールを有する長大なタスク系列において、モジュール選択の性能はどのように低下するか？
• RQ5 局所的関連スコアリングメカニズムは、現実的な設定においてスケーラブルで、動的かつ安定した継続的学習をサポートできるか？

主な発見

• LMCは、テスト時におけるタスクIDの必要性がないにもかかわらず、CTrLベンチマークで最先端の手法と同等または優れた性能を達成する。
• LMCは、学習時に見られなかった分布外（OOD）タスクへの一般化に成功し、ゼロショット転送能力を示した。
• LMCは、異なるタスク系列で訓練されたモジュール型ネットワークを、微調整なしに1つの機能的ネットワークに組み合わせることを可能にした。
• 30および100タスクの系列において、LMCはオラクルベースのMNTDPベースラインと比較してはるかに少ないモジュールを生成したが、わずかに低い正確性にとどまった。これは、大規模な候補セットにおける自動モジュール選択の課題を示している。
• 投影段階は、浅いモジュールと深いモジュール間の適合性を著しく向上させ、安定した学習と効果的な構成を可能にした。
• LMCの性能は、局所的OOD検出器および生成モデルの信頼性に敏感であることが判明し、OOD検出および生成モデル分野の進歩に依存していることが示された。