[論文レビュー] A Theory for Knowledge Transfer in Continual Learning

Diana Benavides‐Prado, Patricia Riddle|arXiv (Cornell University)|Aug 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、継続的教師あり学習における前方および後方知識移行の理論的枠組みを提案し、関連するタスクが増えるほど性能が向上することを示す誤差バウンドを導出する。主な貢献は、特定のアーキテクチャや学習手法に依存せずに、知識移行が誤差を低減させ、次第に知識が蓄積される学習者を可能にする、一般的で実装に依存しない理論の構築である。

ABSTRACT

Continual learning of a stream of tasks is an active area in deep neural networks. The main challenge investigated has been the phenomenon of catastrophic forgetting or interference of newly acquired knowledge with knowledge from previous tasks. Recent work has investigated forward knowledge transfer to new tasks. Backward transfer for improving knowledge gained during previous tasks has received much less attention. There is in general limited understanding of how knowledge transfer could aid tasks learned continually. We present a theory for knowledge transfer in continual supervised learning, which considers both forward and backward transfer. We aim at understanding their impact for increasingly knowledgeable learners. We derive error bounds for each of these transfer mechanisms. These bounds are agnostic to specific implementations (e.g. deep neural networks). We demonstrate that, for a continual learner that observes related tasks, both forward and backward transfer can contribute to an increasing performance as more tasks are observed.

研究の動機と目的

• 継続的学習における後方知識移行の理論的理解の不足に取り組むこと。これは、災難的忘却に比べてあまり注目されていない。
• 特定のニューラルネットワークアーキテクチャや学習手法に依存しない、継続的学習における前方および後方移行を分析する一般的な理論的枠組みを構築すること。
• 知識移行（前方および後方）が、関連タスクをより多く学習するにつれて性能が向上することを示すこと。
• タスク数が増えるにつれて、各タスクに必要な例の数が減少することを示し、継続的学習におけるスケーラビリティを支援すること。
• より知識が蓄積される継続的学習システムを構築するための知識移行メカニズムに関するさらなる研究を促すこと。

提案手法

• この枠組みは、タスクが例の生成分布の類似性を通じて関連していると仮定し、仮説空間間の変換関数を介して移行を可能にする。
• タスク環境上のバイアス学習の観点から、前方移行（タスクを学習する際）および後方移行（将来のタスクを学習する際）における個々のタスクの誤差バウンドを導出する。
• 理論は3つの核心的仮定に依存する：分布の類似性によるタスクの関連性、各タスクにおける十分な訓練例の存在、および実装詳細（例：ネットワークアーキテクチャ、学習手法）に対する無知性。
• マルチタスク学習にインspiredされたアプローチを用い、タスクの類似性に基づいて仮説族を制約する変換関数を用いてバウンドを導出する。
• 理論的分析により、前方および後方移行の両方が一般化誤差を低減し、観察されるタスク数が増えるにつれて性能が向上することが示される。
• 本フレームワークは、4つのタスクを用いたお手本回帰例を用いて実証的に検証され、ソースタスクを部分的に訓練した6つの移行シナリオにおけるR²性能を測定している。

実験結果

リサーチクエスチョン

• RQ1 特定のモデルアーキテクチャに依存しない継続的教師あり学習における前方および後方知識移行を理論的に分析する方法は何か？
• RQ2 継続的学習の文脈において、前方移行または後方移行下での個々のタスクに適用可能な誤差バウンドは何か？
• RQ3 タスクの到着順序が、各タスクが得られる前方および後方移行の量にどのように影響するか？
• RQ4 関連タスクをより多く学習するにつれて、各タスクに必要な例の数を減少させることができるか？
• RQ5 後方移行は、継続的学習において、以前に学習したタスクの性能をどのように向上させることができるか？

主な発見

• 前方および後方知識移行の両方が、継続的なストリームにおいて関連タスクをより多く学習するにつれて誤差を低減し、性能を向上させることに寄与する。
• お手本回帰実験では、移行シナリオ（例：f1を部分的に訓練し、f2の性能向上に使用）が、孤立学習（f2: 0.8737±0.0127）よりも高いR²値（例：f2: 0.8919±0.0174）を達成し、移行の利点を示している。
• 部分的に訓練されたソースモデルは、より大きな仮説空間を保持しており、より効果的な移行が可能である。これは、後方／前方移行を可能にするために、部分的に収束したモデルを保存することが不可欠であることを示唆している。
• 理論的バウンド（式13）により、タスク数が増えるにつれて、各タスクに必要な例の数が減少することが示され、スケーラビリティを支持している。
• 関連のないタスク（例：f4 = x²）を含むシナリオでは、移行性能が低かった（R² = 0.4322±0.0933）ことから、移行は関連タスクにのみ利益をもたらすことが確認された。
• このフレームワークは実装に依存しないため、変換関数に特化したモジュラーやセミモジュラーなネットワークが、移行効果を高めうることを示唆している。