[論文レビュー] PILOT: A Pre-Trained Model-Based Continual Learning Toolbox

Hailong Sun, Da-Wei Zhou+2 more|arXiv (Cornell University)|Sep 13, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

PILOT は、事前学習モデル（PTM）を用いたクラスインクリメンタル継続的学習を可能にする PyTorch ベースのツールボックスである。L2P や DualPrompt、CODA-Prompt といった最先端の PTM ベース手法に加え、FOSTER や DER、MEMO などの従来の CIL アルゴリズムを PTM に適応させた手法も統合している。CIFAR100 や ImageNet-R といったベンチマークにおいて、再実装された従来手法が、専用のプロンプトベース手法を上回ることが多く見られ、PTM ベースの継続的学習のための統一されたベンチマークを確立した。

ABSTRACT

While traditional machine learning can effectively tackle a wide range of problems, it primarily operates within a closed-world setting, which presents limitations when dealing with streaming data. As a solution, incremental learning emerges to address real-world scenarios involving new data's arrival. Recently, pre-training has made significant advancements and garnered the attention of numerous researchers. The strong performance of these pre-trained models (PTMs) presents a promising avenue for developing continual learning algorithms that can effectively adapt to real-world scenarios. Consequently, exploring the utilization of PTMs in incremental learning has become essential. This paper introduces a pre-trained model-based continual learning toolbox known as PILOT. On the one hand, PILOT implements some state-of-the-art class-incremental learning algorithms based on pre-trained models, such as L2P, DualPrompt, and CODA-Prompt. On the other hand, PILOT also fits typical class-incremental learning algorithms (e.g., DER, FOSTER, and MEMO) within the context of pre-trained models to evaluate their effectiveness.

研究の動機と目的

• クラスインクリメンタル学習（CIL）を対象とする、事前学習モデル（PTM）をサポートする継続的学習ツールボックスの不足を補うこと。
• 統一されたフレームワーク内での PTM ベースおよび従来の CIL アルゴリズムの体系的評価と比較を可能にすること。
• 標準的で拡張可能かつ効率的なツールボックスを提供することで、PTM ベースの継続的学習分野の研究を促進すること。
• 従来の CIL アルゴリズムを PTM に適応させた場合、標準ベンチマークにおいて専用のプロンプトベース手法を上回る性能を示すことを示すこと。

提案手法

• PILOT は、事前学習済みのビジョントランスフォーマーやビジョン・ランゲージモデルをバックボーンとして使用する CIL モデルを生成するモデルファクトリを実装している。
• エキジンプルベースおよびエキジンプルフリーの CIL アルゴリズムをサポートしており、メモリ戦略（クラスごとの固定メモリまたは総合メモリサイズ）を設定可能である。
• L2P や DualPrompt、CODA-Prompt といった最先端の PTM ベース CIL 手法を統合しており、これらは固定された PTM に学習可能なプロンプトを用いて新しいクラスに適応する。
• 従来の CIL 手法（例：FOSTER、DER、MEMO）を PTM フレームワーク内に再実装することで、プロンプトベース手法との直接比較を可能にしている。
• バッチサイズ、最適化手法の設定、学習率、およびプロンプト固有のパrameter（例：prompt_pool のサイズ、g_prompt_length）などのハイパーパramータは、JSON 形式の設定ファイルで設定可能である。
• トレーニングループは、タスクごとに逐次的にデータを処理し、分類器を段階的に更新し、各タスク後にこれまでに学習したすべてのクラスの性能を評価することで、災難的忘却の度合いを測定する。

実験結果

リサーチクエスチョン

• RQ1 従来の CIL アルゴリズムを事前学習モデルに適応させた場合、クラスインクリメンタル学習において、専用のプロンプトベース手法を上回る性能を示すことができるか？
• RQ2 エキジンプルベースおよびエキジンプルフリーの戦略が、事前学習モデルに適用された場合、継続的学習においてどのように性能を発揮するか？
• RQ3 標準ベンチマーク上での最先端の PTM ベース CIL 手法（例：L2P、CODA-Prompt）と再実装された従来手法の相対的な性能はどの程度か？
• RQ4 ランダム初期化と比較して、事前学習モデルによる初期化が、継続的学習性能にどの程度向上効果をもたらすか？
• RQ5 ビジョントランスフォーマー（ViT）や CLIP といった異なる事前学習バックボーンの選択が、さまざまな CIL 戦略の有効性にどのように影響を与えるか？

主な発見

• 10段階の ImageNet-R ベンチマークにおいて、エキジンプルを用いた FOSTER は平均精度（A̅）が 82.49、最終精度（AB）が 76.00 を記録し、CODA-Prompt（A̅：78.48、AB：73.40）および ADAM w/ Adapter（A̅：79.39、AB：72.87）を上回った。
• ImageNet-R の設定では、FOSTER の平均精度は ADAM w/ Adapter よりも 3.1 ポints 高く、CODA-Prompt よりも 2.6 ポイント高い結果となった。
• CIFAR100 では、FOSTER が全手法の中で最高の最終精度（87.92）を達成し、最良のプロンプトベース手法である CODA-Prompt（86.85）を上回った。
• FOSTER や MEMO といった従来手法を PTM に適応させた場合、ベンチマーク全体で平均精度および最終精度の両面で、専用のプロンプトベース手法を一貫して上回った。
• PTM フレームワーク内に再実装されたエキジンプルベース手法（例：iCaRL や DER）は強力な性能を示し、事前学習特徴と組み合わせた場合でもエキジンプル機構が有効であることが示された。
• エキジンプルフリー手法（例：L2P や DualPrompt）も競争力のある結果を達成したが、CIFAR100 および ImageNet-R の両方において、エキジンプルベースの FOSTER や MEMO に比べて性能が劣った。