[論文レビュー] Learning to Prompt for Continual Learning

Zifeng Wang, Zizhao Zhang+8 more|arXiv (Cornell University)|Dec 16, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、繰り返しバッファやテスト時のタスクIDを必要とせず、固定された事前学習モデルに動的に指示を与えるために学習可能なプロンプトプールを用いる、L2Pと呼ばれる継続的学習の新規手法を提案する。L2Pは、クエリベースのプロンプト選択メカニズムにより、タスク不変およびタスク固有の知識を同時に最適化することで、複数のベンチマークで最先端の性能を達成し、特に挑戦的なタスクに依存しない設定でも優れた結果を示す。

ABSTRACT

The mainstream paradigm behind continual learning has been to adapt the model parameters to non-stationary data distributions, where catastrophic forgetting is the central challenge. Typical methods rely on a rehearsal buffer or known task identity at test time to retrieve learned knowledge and address forgetting, while this work presents a new paradigm for continual learning that aims to train a more succinct memory system without accessing task identity at test time. Our method learns to dynamically prompt (L2P) a pre-trained model to learn tasks sequentially under different task transitions. In our proposed framework, prompts are small learnable parameters, which are maintained in a memory space. The objective is to optimize prompts to instruct the model prediction and explicitly manage task-invariant and task-specific knowledge while maintaining model plasticity. We conduct comprehensive experiments under popular image classification benchmarks with different challenging continual learning settings, where L2P consistently outperforms prior state-of-the-art methods. Surprisingly, L2P achieves competitive results against rehearsal-based methods even without a rehearsal buffer and is directly applicable to challenging task-agnostic continual learning. Source code is available at https://github.com/google-research/l2p.

研究の動機と目的

• テスト時にリハーサルバッファや既知のタスクIDに依存せずに、継続的学習における深刻な忘却問題を解決すること。
• 従来のデータバッファingよりも効率的に知識を格納できる、簡潔で知的なエピソードメモリシステムを構築すること。
• 順次学習における多様なタスク間の効果的な知識移転を実現し、干渉を最小限に抑えること。
• 1つの固定バックボーンが、インスタンスごとに動的に選択されるプロンプトを介して新しいタスクに適応できるプロンプトベースのフレームワークを設計すること。
• タスク境界が推論時に不明であるタスクに依存しない継続的学習において、有効性を示すこと。

提案手法

• L2Pは、各プロンプトがタスク固有または共有の知識をエンコードする学習可能なパラメータの共有プールを維持する。
• クエリメカニズムにより、入力特徴に基づいて、学習可能なキーを用いて関連するプロンプトのサブセットを動的に選択する。
• プロンプトプールは教師あり損失と同時に最適化され、タスク不変およびタスク固有の知識を同時に学習可能になる。
• プロンプトは入力埋め込みの前に付加され、固定バックボーンの予測をガイドする条件付き命令として機能する。
• 多様なプロンプト選択戦略により、関連のないタスク間の干渉を低減し、異なるタスク間のプロンプト共有を制限する。
• キーバリュー記憶構造を用い、キーデータは学習可能で、入力特徴に基づいて関連するプロンプトを検索するために使用される。

実験結果

リサーチクエスチョン

• RQ1 プロンプトベースのメモリシステムは、従来のリハーサルバッファを置き換えられ、性能を維持できるか？
• RQ2 テスト時にタスクIDを必要とせず、インスタンスごとに動的に選択されるプロンプトによって、1つの固定モデルを効果的に指導できるか？
• RQ3 どのようにプロンプトを設計することで、タスク不変およびタスク固有の知識をエンコードし、深刻な忘却を軽減できるか？
• RQ4 プロンプトベースの学習は、タスク境界が不明なタスクに依存しない継続的学習にどの程度一般化できるか？
• RQ5 プロンプトプールサイズ、プロンプト長、選択サイズなどのハイパーパrameterが、モデル性能および知識保持にどの程度影響を与えるか？

主な発見

• L2Pは、リハーサルバッファを一切使用しない設定を含め、標準的なクラスインクリメンタルおよびドメインインクリメンタルベンチマークで、すべての先行SOTA手法を上回る性能を達成した。
• タスクに依存しない設定では、リハーサルバッファを搭載していないにもかかわらず、バッファ依存やタスクID依存のメカニズムに依存する手法を上回る最高の性能を達成した。
• プロンプトプールを削除して1つのプロンプトのみを用いると、性能が著しく低下し、共有で複数のプロンプトを持つメモリシステムの重要性が確認された。
• プロンプト検索メカニズムにおける学習可能なキーは不可欠である。キーを平均プロンプトに置き換えると性能が低下し、クエリとプロンプトの学習を分離する役割を果たしていることが示された。
• 多様なプロンプト選択戦略は、5データセットのような多様なデータセットにおいて、関連のないタスク間の干渉を低減することで性能を向上させた。
• 最適なプロンプト長とプールサイズは極めて重要である。プロンプト長が小さすぎると性能が低下するが、より大きなプールサイズは、特にタスクが多様な場合に結果を改善する。