[論文レビュー] Formalizing the Generalization-Forgetting Trade-off in Continual Learning

Krishnan Raghavan, Prasanna Balaprakash|arXiv (Cornell University)|Sep 28, 2021

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本稿は、動的計画法を用いて、継続的学習における汎化誤りのトレードオフを、一般化コストを最大化するプレイヤーと忘却コストを最小化するプレイヤーからなる2人用逐次ゲームとして形式化する。Balanced Continual Learning (BCL) を提案し、2つの目的の間で安定なサドルポイントを達成し、Split-MNIST や Permuted-MNIST などのベンチマークデータセットで最先端の手法を上回るか同等の性能を達成する。

ABSTRACT

We formulate the continual learning (CL) problem via dynamic programming and model the trade-off between catastrophic forgetting and generalization as a two-player sequential game. In this approach, player 1 maximizes the cost due to lack of generalization whereas player 2 minimizes the cost due to catastrophic forgetting. We show theoretically that a balance point between the two players exists for each task and that this point is stable (once the balance is achieved, the two players stay at the balance point). Next, we introduce balanced continual learning (BCL), which is designed to attain balance between generalization and forgetting and empirically demonstrate that BCL is comparable to or better than the state of the art.

研究の動機と目的

• 動的計画法を用いて、継続的学習における汎化と深刻な忘却のバランスを理論的に形式化すること。
• タスク間で一般化と忘却のバランス点が存在し、その安定性を確立すること。
• 実際の応用においてこのバランスを達成するための体系的な手法、Balanced Continual Learning (BCL) を開発すること。
• BCL が既存の最先端の継続的学習手法を上回るか同等の性能を示すことを経験的に証明すること。
• 継続的学習における安定性と柔軟性のジレンマを理解するための原則的フレームワークを提供すること。

提案手法

• 動的計画法とベルマンの最適性の原則を用いて、継続的学習を逐次意思決定問題として形式化する。
• 一般化と忘却のトレードオフを、プレイヤー1が一般化コストを最大化し、プレイヤー2が忘却コストを最小化する2人用逐次ゲームとしてモデル化する。
• 各新しいタスクに対して一般化と忘却の間にサドルポイントが存在することを証明する（定理1）および勾配上昇・下降法を用いてそのサドルポイントが漸近的に達成可能であることを示す（定理2）。
• 新しいタスクでの一般化を交互に最大化し、以前のタスクでの忘却を最小化する、Balanced Continual Learning (BCL) を導入する。
• 新規タスクデータに対するモデルの訓練と評価により一般化コストを計算する。以前のタスクデータの保存済み評価により忘却コストを計算する。
• 経験リプレイのベースラインと整合性を持つように、タスクメモリのバッファサイズを固定して16,000サンプルとする。

実験結果

リサーチクエスチョン

• RQ1 動的計画法の定式化のもとで、継続的学習における一般化と忘却の間に安定したバランス点が存在するか？
• RQ2 勾配に基づく最適化によって、一般化と忘却のバランス点が漸近的に達成可能か？
• RQ3 一般化と忘却の最適なトレードオフを達成する体系的な手法が存在するか？
• RQ4 提案された BCL 法は、最先端の継続的学習アプローチと比較して、性能と安定性の面で優れているか？
• RQ5 サドルポイント最適化に基づく理論的フレームワークは、実際の継続的学習のダイナミクスを的確に反映しているか？

主な発見

• 定理1により、各新しいタスクに対して一般化と忘却の間の安定なサドルポイントが存在することが証明された。
• 定理2により、プレイヤーが勾配上昇・下降戦略を用いる場合、そのサドルポイントが漸近的に達成可能であることが示された。
• Balanced Continual Learning (BCL) は、Split-MNIST および Permuted-MNIST ベンチマークで、最先端の手法と同等またはそれ以上の性能を達成した。
• 動的計画法と2人用ゲームに基づく理論的フレームワークは、継続的学習における安定性と柔軟性のジレンマを理解する上で的確な基盤を提供する。
• 段階的クラス、ドメイン、タスク学習のシナリオにおける経験的結果から、BCL が強い汎化性能を維持しながら深刻な忘却を最小限に抑えることが確認された。
• 非定常なデータ分布や出力空間が不一致であるようなさまざまな継続的学習の設定においても、本手法は頑健であることが示された。