[論文レビュー] Sequoia: A Software Framework to Unify Continual Learning Research

Fabrice Normandin, Florian Golemo+11 more|arXiv (Cornell University)|Aug 2, 2021

Respiratory viral infections research参考文献 54被引用数 4

ひとこと要約

Sequoia は、共有仮定に基づく階層的分類体系を通じて継続的学習（CL）研究を統合するソフトウェアフレームワークであり、継続的教師あり学習（CSL）と継続的強化学習（CRL）の間でメソッドの継承と再利用を可能にすることで、重複を減らし、再現性を高め、研究を加速する。標準化された評価とパラダイム間のメソッド移行を可能にすることで、研究の効率化を実現する。

ABSTRACT

The field of Continual Learning (CL) seeks to develop algorithms that accumulate knowledge and skills over time through interaction with non-stationary environments. In practice, a plethora of evaluation procedures (settings) and algorithmic solutions (methods) exist, each with their own potentially disjoint set of assumptions. This variety makes measuring progress in CL difficult. We propose a taxonomy of settings, where each setting is described as a set of assumptions. A tree-shaped hierarchy emerges from this view, where more general settings become the parents of those with more restrictive assumptions. This makes it possible to use inheritance to share and reuse research, as developing a method for a given setting also makes it directly applicable onto any of its children. We instantiate this idea as a publicly available software framework called Sequoia, which features a wide variety of settings from both the Continual Supervised Learning (CSL) and Continual Reinforcement Learning (CRL) domains. Sequoia also includes a growing suite of methods which are easy to extend and customize, in addition to more specialized methods from external libraries. We hope that this new paradigm and its first implementation can help unify and accelerate research in CL. You can help us grow the tree by visiting www.github.com/lebrice/Sequoia.

研究の動機と目的

• 評価設定の分散化と一貫性の欠如が引き起こす継続的学習（CL）研究の断片化を是正すること。
• 継続的教師あり学習（CSL）と継続的強化学習（CRL）の間で、メソッドフレームワークを統合することで、重複作業を削減すること。
• 明確な設定と評価プロトコルを備えた共有ソフトウェアインfrastrucureを提供することで、CLにおける再現性と標準化を向上させること。
• 多様な設定において、モジュール型で拡張可能かつ相互運用可能な環境で CL メソッドの開発と評価を可能にすること。
• 一般設定で開発されたメソッドが、より具体的な子設定に直接継承・適用可能となることで、CL 分野の進展を加速すること。

提案手法

• 各 CL 設定を仮定の集合（例：タスクIDの利用可能性、タスク境界の知識）として定義し、木構造の階層的構造の基盤を形成する。
• より一般的な設定（親）が仮定を継承し、より制限的な設定（子）が制約を追加する階層的分類体系を構築することで、継承によるメソッド再利用を可能にする。
• Sequoia として実装されたフレームワークを公開し、CSL と CRL の両方をサポートする標準化された、合成可能な環境とデータセットを提供する。
• 外部ライブラリからの CL メソッドを含む、増加するメソッドのスイートを統合し、カスタムメソッド開発と評価のための拡張可能なインターフェースを提供する。
• 最終性能、オンライン性能、正規化実行時間といった標準化された指標を用いて、多様な設定での評価を可能にする。
• CSL 用に設計されたメソッドを CRL の設定で、逆に CRL 用のメソッドを CSL の設定で使用できるようにすることで、パラダイム間の相互運用性を実現する。特に、経験リプレイのような技術に有効である。

実験結果

リサーチクエスチョン

• RQ1 継続的学習設定の多様性を、冗長性を低減し、メソッド再利用性を向上させるために、どのように体系的に整理できるか？
• RQ2 統合されたソフトウェアフレームワークは、継続的教師あり学習と継続的強化学習の間で、どの程度重複作業を削減できるか？
• RQ3 仮定の階層的分類体系により、設定間でメソッドの直接継承が可能となり、再現性と評価の一貫性が向上するか？
• RQ4 フレームワークは、異なる設定やリソース制約下でも、CL メソッドの標準的かつ再現可能な評価をどのように支援するか？
• RQ5 共有インfrastrucureの導入が、教師あり学習および強化学習の文脈における新規 CL アルゴリズムの開発と比較に与える影響は何か？

主な発見

• CL 設定の階層的分類体系により、一般設定で開発されたメソッドが、より具体的な子設定すべてに自動的に適用可能になる継承が可能になる。
• Sequoia は、経験リプレイのようなコア技術の共有実装を、CSL と CRL 間で可能にすることで、重複作業を削減している。これは、MonsterKong と MuJoCo ベンチマークの両方で実証された。
• 実験的評価により、最終性能とオンライン性能の間には明確なトレードオフがあることが示された。オフポリシー手法（例：DQN）は高い最終性能を達成し、オンポリシー手法（例：PPO）は優れたオンライン性能を示した。
• フレームワークにより、CRL における効果的な転移学習が可能になった。Continual-MonsterKong における PPO の転移行列では、対角線より上の正の報酬が、未観測のタスクへの成功した一般化を示している。
• GEM や GDumb といったメソッドは、インクリメンタル教師あり学習において、性能と実行時間のトレードオフにおいて最良の結果を達成した。GDumb はオンライン推論が不可能であるものの、強力なベースラインとして機能した。
• フレームワークは、MonsterKong におけるように、レイアウト、報酬、視覚的特徴の系統的変更を可能にするカスタマイズ可能な環境設定をサポートしており、ポリシーの一般化をテストするのに有効である。