[論文レビュー] An Introduction to Lifelong Supervised Learning

Shagun Sodhani, Mojtaba Faramarzi+5 more|arXiv (Cornell University)|Jul 10, 2022

Higher Education Learning Practices被引用数 4

ひとこと要約

本論文は、継続的学習と深刻な忘却の防止を可能にする枠組みとして、生涯にわたる教師あり学習を導入する。モジュラーなアーキテクチャ、アダプタ、外部知識ベースとの統合を提案することで、段階的知識獲得、選択的忘却、動的適応を支援する。これはスケーラブルで生涯にわたるAIシステムの実世界への展開に不可欠である。

ABSTRACT

This primer is an attempt to provide a detailed summary of the different facets of lifelong learning. We start with Chapter 2 which provides a high-level overview of lifelong learning systems. In this chapter, we discuss prominent scenarios in lifelong learning (Section 2.4), provide 8 Introduction a high-level organization of different lifelong learning approaches (Section 2.5), enumerate the desiderata for an ideal lifelong learning system (Section 2.6), discuss how lifelong learning is related to other learning paradigms (Section 2.7), describe common metrics used to evaluate lifelong learning systems (Section 2.8). This chapter is more useful for readers who are new to lifelong learning and want to get introduced to the field without focusing on specific approaches or benchmarks. The remaining chapters focus on specific aspects (either learning algorithms or benchmarks) and are more useful for readers who are looking for specific approaches or benchmarks. Chapter 3 focuses on regularization-based approaches that do not assume access to any data from previous tasks. Chapter 4 discusses memory-based approaches that typically use a replay buffer or an episodic memory to save subset of data across different tasks. Chapter 5 focuses on different architecture families (and their instantiations) that have been proposed for training lifelong learning systems. Following these different classes of learning algorithms, we discuss the commonly used evaluation benchmarks and metrics for lifelong learning (Chapter 6) and wrap up with a discussion of future challenges and important research directions in Chapter 7.

研究の動機と目的

• データとタスクが時間とともに変化する現実世界のAIシステムにおける継続的学習の課題に対処すること。
• 順次タスク学習の過程で機械学習モデルが深刻な忘却を回避すること。
• 再訓練を再び開始することなく、効率的で段階的な知識更新を可能にすること。
• 動的に変化する情報を扱うために、外部知識ソースとの統合を促進すること。
• 後方および前方の知識移転をサポートするモジュラーで拡張可能なアーキテクチャ（例：アダプタ）の開発。

提案手法

• モジュラーなパラメータ更新を通じて前方および後方の知識移転を支援する生涯学習フレームワークを提案する。
• 事前学習済みトランスフォーマーモデルに挿入される小さなトレーニング可能なコンponents（アダプタモジュール）を活用し、最小限のパラメータ更新で効率的なファインチューニングを実現する。
• 新しいタスク学習時にアダプタモジュールのみを更新することで、選択的知識保持と忘却を可能にする。
• メモリ拡張ニューラルネットワーク（例：ニューラルチューリングマシン、微分可能なニューラルコンピュータ）を統合し、外部知識ストアへの動的アクセスを可能にする。
• システムがスキル（例：知識ベースの照会、結果の集約）をタスク間で合成できるように、カリキュラムベースの学習パイプラインを設計する。
• モジュラーなパrameter化と外部知識ベースの統合を組み合わせ、静的知識と動的で変化する情報の分離を実現する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、以前に習得した知識を忘れないように、新しいタスクから順次学習できるか？
• RQ2 どのアーキテクチャ設計が、以前のタスクのパフォーマンスを保持しつつ、効率的な後方知識移転を可能にするか？
• RQ3 生涯学習システムは、リアルタイムで外部の動的知識ソースを効果的に照会し統合できるか？
• RQ4 アダプタベースのファインチューニングは、パラメータ更新を最小限に抑えつつ、タスク間でパフォーマンスを維持できるか？
• RQ5 スキルの合成とカリキュラム学習は、生涯学習における一般化とスケーラビリティをどのように促進するか？

主な発見

• アダプタベースのファインチューニングは、元の事前学習済みモデルの重みを凍結したまま、下流タスクで優れたパフォーマンスを達成でき、コンパクトで拡張可能な生涯学習システムを実現する。
• アダプタを備えたモジュラーなアーキテクチャは、特定の知識モジュールへの選択的更新を可能にすることで、段階的学習と後方移転を支援する。
• 外部知識ベースとの統合により、システムは静的モデルでは対応できない時間に依存する質問（例：現在の天気）に答えることができる。
• ニューラルコンピュータのようなメモリ拡張ネットワークは、外部情報への動的アクセスを可能にし、現実世界の設定における適応性を高める。
• カリキュラムベースのトレーニングにより、システムは以前に習得したスキルを合成することで、複雑な複数ステップの推論タスクを学習できる。
• モジュラーなパrameter化と外部知識へのアクセスの組み合わせは、動的環境における生涯学習のスケーラブルなインダクティブバイアスを提供する。