[논문 리뷰] PILOT: A Pre-Trained Model-Based Continual Learning Toolbox

Hailong Sun, Da-Wei Zhou외 2명|arXiv (Cornell University)|2023. 09. 13.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

PILOT는 사전 훈련된 모델(PTM)을 사용하는 클래스 증분 지속 학습을 가능하게 하는 파이토치 기반 툴박스입니다. L2P, DualPrompt, CODA-Prompt와 같은 최신 PTM 기반 방법들과 FOSTER, DER, MEMO와 같은 전통적인 CIL 알고리즘들을 PTM에 적응시킨 버전을 통합하여, CIFAR100 및 ImageNet-R와 같은 벤치마크에서 전통적 방법이 전용 프롬프트 기반 방법보다 뛰어난 성능을 보임을 입증하며, PTM 기반 지속 학습을 위한 통합 벤치마크를 구축합니다.

ABSTRACT

While traditional machine learning can effectively tackle a wide range of problems, it primarily operates within a closed-world setting, which presents limitations when dealing with streaming data. As a solution, incremental learning emerges to address real-world scenarios involving new data's arrival. Recently, pre-training has made significant advancements and garnered the attention of numerous researchers. The strong performance of these pre-trained models (PTMs) presents a promising avenue for developing continual learning algorithms that can effectively adapt to real-world scenarios. Consequently, exploring the utilization of PTMs in incremental learning has become essential. This paper introduces a pre-trained model-based continual learning toolbox known as PILOT. On the one hand, PILOT implements some state-of-the-art class-incremental learning algorithms based on pre-trained models, such as L2P, DualPrompt, and CODA-Prompt. On the other hand, PILOT also fits typical class-incremental learning algorithms (e.g., DER, FOSTER, and MEMO) within the context of pre-trained models to evaluate their effectiveness.

연구 동기 및 목표

• 사전 훈련된 모델(PTM)을 지원하는 지속 학습 툴박스가 클래스 증분 학습(CIL) 분야에서 부족한 점을 보완하기 위해.
• 통합 프레임워크 내에서 PTM 기반 및 전통적 CIL 알고리즘 간의 체계적 평가 및 비교를 가능하게 하기 위해.
• 표준화되고 확장 가능하며 효율적인 툴박스를 제공하여 지속 학습 분야의 연구를 촉진하기 위해.
• 사전 훈련된 모델에 적응된 전통적 CIL 알고리즘들이 표준 벤치마크에서 전용 프롬프트 기반 방법보다 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• PILOT는 사전 훈련된 비전 트랜스포머 또는 비전-언어 모델을 백본으로 사용하는 CIL 모델을 생성하는 모델 팩터리를 구현합니다.
• 예시 기반 및 예시 비기반 CIL 알고리즘을 모두 지원하며, 메모리 전략을 구성 가능하게 하여 각 클래스당 고정 메모리 또는 총 메모리 크기로 설정할 수 있습니다.
• L2P, DualPrompt, CODA-Prompt와 같은 최신 PTM 기반 CIL 방법을 통합하여, 동결된 PTM에 학습 가능한 프롬프트를 사용해 새로운 클래스에 적응시키는 방식을 지원합니다.
• FOSTER, DER, MEMO와 같은 전통적 CIL 방법들을 PTM 프레임워크 내에서 재구현하여 프롬프트 기반 접근과 직접 비교할 수 있도록 합니다.
• 배치 크기, 최적화기 설정, 학습률, 프롬프트 전용 파라미터(예: 프롬프트 풀 크기, g_prompt_length)와 같은 하이퍼파라미터는 JSON 설정 파일을 통해 구성 가능합니다.
• 학습 루프는 각 태스크별로 데이터를 순차적으로 처리하고, 분류기의 점진적 업데이트를 수행하며, 각 태스크 후에 이전에 접한 모든 클래스에 대해 성능을 평가하여 치명적 잊음 현상을 측정합니다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델에 적응된 전통적 CIL 알고리즘이 클래스 증분 학습에서 전용 프롬프트 기반 방법보다 더 높은 성능을 낼 수 있는가?
• RQ2 예시 기반 및 예시 비기반 전략이 지속 학습에서 사전 훈련된 모델에 적용되었을 때 성능는 어떻게 되는가?
• RQ3 표준 벤치마크에서 최신 PTM 기반 CIL 방법(L2P, CODA-Prompt 등)과 재구현된 전통적 방법 간의 상대적 성능는 어떠한가?
• RQ4 랜덤 초기화 대비 사전 훈련된 모델로의 초기화가 지속 학습 성능 향상에 얼마나 기여하는가?
• RQ5 비전 트랜스포머(ViT) 또는 CLIP와 같은 사전 훈련된 백본의 선택이 다양한 CIL 전략의 효과성에 어떤 영향을 미치는가?

주요 결과

• 10단계로 구성된 ImageNet-R 벤치마크에서, 예시 기반 FOSTER는 평균 정확도(A̅) 82.49와 최종 정확도(AB) 76.00을 기록하여, CODA-Prompt(A̅: 78.48, AB: 73.40)와 ADAM w/ Adapter(A̅: 79.39, AB: 72.87)를 모두 앞섰다.
• ImageNet-R 설정에서 FOSTER의 평균 정확도는 ADAM w/ Adapter보다 3.1점 높고, CODA-Prompt보다 2.6점 높았다.
• CIFAR100에서 FOSTER는 테스트된 모든 방법 중 최고의 최종 정확도(87.92)를 기록하여, 최고의 프롬프트 기반 방법인 CODA-Prompt(86.85)를 초월했다.
• FOSTER와 MEMO와 같은 전통적 방법들이 PTM에 적응된 후, 다양한 벤치마크에서 평균 정확도와 최종 정확도 모두에서 전용 프롬프트 기반 방법을 뛰어넘는 것으로 나타났다.
• PTM 프레임워크 내에서 재구현된 예시 기반 방법들인 iCaRL과 DER은 뛰어난 성능를 보였으며, 이는 예시 메커니즘이 사전 훈련된 특징과 결합되어도 여전히 효과적임을 시사한다.
• 예시 비기반 방법인 L2P와 DualPrompt는 경쟁 가능한 성능를 기록했지만, CIFAR100과 ImageNet-R 양쪽에서 예시 기반 FOSTER와 MEMO에 비해 여전히 열등한 성능를 보였다.