[論文レビュー] The Effect of Task Ordering in Continual Learning

Samuel J. Bell, Neil D. Lawrence|arXiv (Cornell University)|May 26, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、継続的学習における catastrophic forgetting にタスクの順序付けが顕著に影響することを示しており、タスク間の曲率に基づく距離を用いてタスク順序を最適化する新規手法を提案している。新しいタスクへの勾配ステップのヘッセ行列に基づく曲率を計算することで、著者らはタスク順序を最適化することにより、ランダムな順序と比較して忘却を最大50%まで低減できることを示している。これは、タスク順序を継続的学習性能を向上させるための重要なハイパーパrameterとして位置づけるものである。

ABSTRACT

We investigate the effect of task ordering on continual learning performance. We conduct an extensive series of empirical experiments on synthetic and naturalistic datasets and show that reordering tasks significantly affects the amount of catastrophic forgetting. Connecting to the field of curriculum learning, we show that the effect of task ordering can be exploited to modify continual learning performance, and present a simple approach for doing so. Our method computes the distance between all pairs of tasks, where distance is defined as the source task curvature of a gradient step toward the target task. Using statistically rigorous methods and sound experimental design, we show that task ordering is an important aspect of continual learning that can be modified for improved performance.

研究の動機と目的

• 継続的学習におけるタスク順序が catastrophic forgetting に与える影響を調査し、ベンチマークの結果が順序に依存しないという仮定に疑問を呈すること。
• curriculum learning の原則にインspされ、タスク順序を継続的学習性能の向上に活用できるかを検討すること。
• ヘッセ行列の曲率や勾配ステップといったモデルおよびタスクレベルの情報を用いて、実用的な有効なタスク順序の構築手法を開発すること。
• タスク順序が継続的学習性能のばらつきの主要因であることを実証的に検証し、標準的なベンチマークでしばしば無視されていること。
• 最大累積曲率を示すタスク空間内パスが、ランダム順序や最小曲率順序と比較して一貫して優れていることを示すこと。

提案手法

• 本手法は、前回のタスクの最小値から新しいタスクへの最初の勾配ステップの曲率に基づき、ヘッセ行列の固有値半径を用いてタスク間距離を計算する。
• グラフベースのアプローチを用い、タスクをノードとし、曲率に基づく距離をエッジとして扱うことで最適なタスク順序を特定する。
• 累積曲率の合計が最大となるパス、すなわち「最大和パス」を最適パスとして選択する。
• ReLUおよびResNetアーキテクチャを用いて、合成データおよび実世界のデータセット（例：MNIST、CIFAR-10、CIFAR-100）で評価を行う。
• 性能はタスク間の平均的忘却度で測定され、複数のランダムシードおよびタスク順序に対して統計的厳密性を適用する。
• 本手法は、タスク順序が制御可能であるという仮定に基づく（アクティブラーニングや実世界のデプロイメントで一般的）が、モデル容量やハイパーパrameterを変更しない。

実験結果

リサーチクエスチョン

• RQ1 タスクの提示順序が継続的学習における catastrophic forgetting に顕著に影響を与えるか？
• RQ2 モデルアーキテクチャやハイパーパrameterを変更せずに、タスク順序を活用して catastrophic forgetting を低減できるか？
• RQ3 忘却に与える順序の影響を予測できる、原理的かつ整合性のあるタスク間距離の計算方法はあるか？
• RQ4 最大和曲率パスは、ランダム順序、最小曲率順序、真の距離に基づく順序と比較して、忘却低減にどの程度優れているか？
• RQ5 タスク数が増加するに従い、タスク順序の影響が薄れるか？

主な発見

• タスク順序は catastrophic forgetting に顕著かつ測定可能な影響を及ぼしており、異なる順序で性能に顕著な差が生じる。
• 最大和曲率パス（累積曲率を最大化するタスクの選択）は、ランダム順序や最小曲率順序を一貫して上回り、一部の設定では忘却を最大50%まで低減する。
• 順序長が増加するにつれてタスク順序の影響は薄れる。CIFAR-10（t=5）とCIFAR-100（t=10）の比較から、順序による忘却のばらつきが減少することが確認された。
• 真のタスク距離（真値パラメータに基づく）が最も長いパスは、最も低い忘却を示し、これにより代表的重複が減少するという仮説を支持する。
• 提案手法はタスク間の関係を効果的に捉え、再訓練なしに改善されたタスク順序を体系的に構築可能である。
• 本研究は、タスク順序が継続的学習において以前にあまり注目されていなかった重要な要因であることを確立し、ベンチマークや実世界のデプロイメントに影響を及ぼす。