[論文レビュー] CODA-Prompt: COntinual Decomposed Attention-based Prompting for Rehearsal-Free Continual Learning

James Smith, Leonid Karlinsky+7 more|arXiv (Cornell University)|Nov 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

CODA-Promptは、入力に応じた注目重みを用いて構成するプロンプトコンポーネントを学習することで、リハーサルなしの継続的学習においてモデルの柔軟性とスケーラビリティを向上させる、エンド・ツー・エンドで分解型のアテンションベースのプロンプティング手法を導入する。この手法は、標準ベンチマークでSOTAを更新し、クラスインクリメンタルとドメインインクリメンタルの両方のシフトを伴うベンチマークでは、DualPromptを最大4.5%上回る平均精度を達成する。

ABSTRACT

Computer vision models suffer from a phenomenon known as catastrophic forgetting when learning novel concepts from continuously shifting training data. Typical solutions for this continual learning problem require extensive rehearsal of previously seen data, which increases memory costs and may violate data privacy. Recently, the emergence of large-scale pre-trained vision transformer models has enabled prompting approaches as an alternative to data-rehearsal. These approaches rely on a key-query mechanism to generate prompts and have been found to be highly resistant to catastrophic forgetting in the well-established rehearsal-free continual learning setting. However, the key mechanism of these methods is not trained end-to-end with the task sequence. Our experiments show that this leads to a reduction in their plasticity, hence sacrificing new task accuracy, and inability to benefit from expanded parameter capacity. We instead propose to learn a set of prompt components which are assembled with input-conditioned weights to produce input-conditioned prompts, resulting in a novel attention-based end-to-end key-query scheme. Our experiments show that we outperform the current SOTA method DualPrompt on established benchmarks by as much as 4.5% in average final accuracy. We also outperform the state of art by as much as 4.4% accuracy on a continual learning benchmark which contains both class-incremental and domain-incremental task shifts, corresponding to many practical settings. Our code is available at https://github.com/GT-RIPL/CODA-Prompt

研究の動機と目的

• プライバシーに配慮が必要な環境や大規模な展開シナリオにおいて、データリハーサルを伴わない継続的学習における深刻な忘却（catastrophic forgetting）を解消すること。
• エンド・ツー・エンドの最適化が行われず、スケーラビリティに制限がある既存のプロンプトベース手法が直面する、柔軟性と耐性のトレードオフを克服すること。
• プロンプトプールのサイズではなく、プロンプトコンポーネントの数を増やすことで能力を拡張する分解型プロンプト機構を導入し、パラメータ効率的かつスケーラブルな継続的学習を実現すること。
• 意味的（クラスインクリメンタル）および共変量（ドメインインクリメンタル）の両方の分布シフトに一般化できる性能を向上させること。
• エンド・ツー・エンドの微分可能性を維持し、プロンプト選択における勾配消失を回避しながら、リハーサルなしの継続的学習でSOTAの性能を達成すること。

提案手法

• 従来の固定プロンプトプールを、入力に応じたアテンション重みによって動的に組み合わせられる学習可能なプロンプトコンポーネントの集合に置き換える。
• キーベースのプロンプト選択とは異なり、プロンプトパイプライン全体にエンド・ツー・エンドのバックプロパゲーションを可能にする、新しいアテンションベースのコンポーネント重み付け機構を導入する。
• プロンプトを、入力埋め込みに適用される学習可能なクエリメカニズムによって計算される重みの加重和として分解する。これにより、文脈に適応した動的プロンプト生成が可能になる。
• 継続的学習中の安定性を向上させ、忘却を軽減するために、プロンプトコンポーネントに直交性正則化を適用する。
• 後続のタスク学習において、事前に学習済みのプロンプトコンポーネントを固定し、知識の保持を図るとともに、新しいタスク用に新たなコンポーネントを学習可能にする。
• プロンプトコンポーネントとアテンション重みを含む、モデル全体を標準的なバックプロパゲーションを用いてエンド・ツー・エンドで最適化することで、完全な勾配伝搬を実現し、柔軟性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非微分可能なキーベース・クエリ選択と比較して、エンド・ツー・エンドで最適化可能な分解型プロンプティング機構は、リハーサルなしの継続的学習における柔軟性と性能を向上させるか？
• RQ2 固定されたプロンプトプールのサイズではなく、プロンプトコンポーネントの数を増やすことでプロンプト能力を拡張することは、スケーラビリティと性能向上に寄与するか？
• RQ3 クラスインクリメンタルとドメインインクリメンタルの両方の分布シフトを伴う二重シフトのシナリオにおいて、提案手法はどのように性能を発揮するか？
• RQ4 データリハーサルの欠如とエンド・ツー・エンド最適化の使用が、忘却の度合いと最終的な精度にどのように影響を与えるか？
• RQ5 同等のパラメータ数の条件下でも、能力の増大に伴い性能を維持できるか？

主な発見

• 10タスクのImageNet-Rベンチマーク（ドメインシフトあり）において、CODA-Promptは71.35%の平均精度を達成し、SOTAのDualPromptを4.4%上回る新たなSOTAを記録した。
• 標準的なクラスインクリメンタルベンチマークでは、CODA-PromptはSOTA手法のDualPromptを最大4.5%上回る平均精度を達成した。
• アブレーションスタディの結果、アテンションキーや削除すると平均精度が0.93%低下し、固定化や直交性正則化を削除するとそれぞれ0.85%および4.79%低下した。これにより、これらの要素が極めて重要な役割を果たしていることが確認された。
• プロンプト長が固定された状態でも、CODA-Promptは高い性能を維持しており、性能向上はプロンプト長の延長ではなく、コンポーネント数の増加に起因していることが示された。プロンプト長は速やかに飽和する。
• コンポーネント数の増加に伴い、CODA-Promptは効果的にスケーリングされ、DualPrompt や L2P がプールサイズが大きくなると飽和または性能が低下する中、上限性能に近づく傾向を示した。
• 5タスクのImageNet-R設定では、10個のコンポーネント（DualPromptのプロンプトプールサイズと同等）を用いたCODA-Pは、既にDualPromptを上回る性能を示し、さらにコンポーネント数を増やすことで顕著な性能向上が得られた。これにより、スケーラビリティが裏付けられた。